Водительское удостоверение говорит о том, кто этот человек и что он сдал экзамен по вождению, но оно не гарантирует, что в будущем он будет водить ответственно. То же самое относится и к ботам: проверка того, кто управляет ботом, обеспечивает подотчетность, но доверие зависит от его дальнейших действий. Известный бот все равно может игнорировать настройки сайта, перегружать первоисточники или обходить средства контроля. Это не всегда злонамеренно — часто причиной являются лишь неверная конфигурация или ошибка.
Как мы описывали в предыдущей статье в блоге о поведении ботов, мы стремимся подтвердить два вопроса: «Кто вы?» и «Можем ли мы вам доверять?» Чтобы получить статус Cloudflare Verified Bot, в целом необходимо соответствовать трем критериям:
- Точно и безопасно представлять себя
- Делать только то, что вы обещали
- Не заниматься вредоносной деятельностью
Боты используют Web Bot Auth для подписи запросов, которые подтверждают их личность, после чего BotBase заносит их в каталог в открытом формате. С идентификацией покончено, и теперь наше внимание переключается на второе главное правило Verified bots: не навреди.
Сегодня мы представляем систему для оценки и отчета в случаях, когда поведение Verified bot начинает отклоняться от этого правила, гарантируя, что ответом на вопрос «Можем ли мы вам доверять?» остается «Да».
Именно здесь становится важным различие между риском и доверием:
- Риск описывает вероятность того, что конкретный запрос или действие в определенный момент времени может нанести вред, и она может меняться от момента к моменту.
- Доверие формируется со временем благодаря повторяющемуся и последовательному поведению.
Например, мы исключили бот Perplexity из нашего списка Verified bots в 2025 году, когда он попытался получить доступ к ресурсам на сайтах, отказавшихся от сбора данных, а впоследствии попытался обойти средства контроля, когда эти запросы были заблокированы.
Не заниматься вредоносной деятельностью
Это простое требование звучит так, будто оно выполняется само собой, но в этом утверждении кроется множество нюансов. Когда краулеры не уважают настройки сайтов, это подрывает доверие. Когда сайты просят краулер не сканировать их или снизить скорость, а краулер игнорирует эти запросы, это подрывает доверие.
Мы разработали систему для измерения того, насколько часто краулер уважает настройки сайтов. Эти наблюдения будут переведены в понятный диапазон доверия: шкалу, показывающую, насколько последовательно бот уважает настройки сайта и какие именно наблюдаемые модели поведения легли в основу этой оценки, а не перманентный вердикт в отношении бота или его оператора. Первыми сигналами, которые мы оцениваем, являются:
- Соблюдает ли бот инструкции?
- Отреагировал ли он на прямую обратную связь?
Мы считаем это правилами «здравого смысла», проявлением вежливости по отношению к операторам, которые предоставляют информацию, искомую ботами. В будущем мы будем публично делиться этими оценками на Radar, а также расширять способы измерения. Этот показатель дает ответственным операторам ботов возможность продемонстрировать, что доверие поддерживается с течением времени. Проверяй, но непрерывно перепроверяй.
В чужой монастырь со своим уставом не ходят
Файл robots.txt — это основной способ донести предпочтения владельца сайта. Наша система анализирует, согласуется ли наблюдаемый трафик бота с этими опубликованными предпочтениями с течением времени.
Robots.txt указывает всем (или конкретным) ботам сканировать только определенные части веб-сайта. Единичные нарушения и другие разовые инциденты могут не иметь большого значения. Вместо этого мы ищем повторяющиеся паттерны поведения, которые игнорируют настройки сайта. Ожидается лишь, что ответственные боты будут сверяться с опубликованными веб-сайтами настройками и уважать их, в соответствии с RFC 9309.
И чтобы внести ясность: robots.txt задает минимальные правила в отношении того, чего боты и агенты делать не должны. Но это не подразумевает, что разрешено все, что не указано явно. Например, в robots.txt не обязательно указывать, что бот должен остановиться, когда сайт может сообщить о том, что дальнейший доступ нежелателен, с помощью других сигналов.
Не делай другим того, чего не желаешь себе
Боты могут полностью оставаться в пределах разрешенных путей и при этом создавать существенную нагрузку на посещаемые веб-сайты. Одним из наиболее наглядных способов отпора со стороны веб-сайта является ответ HTTP 429 («Too Many Requests»). Код 429 — это предписание для посетителя снизить частоту запросов, иногда с указанием того, сколько времени нужно подождать перед повторной попыткой.
Наша система анализирует, адаптируется ли трафик бота после получения этого сигнала. Снижает ли он скорость, делает ли паузу или продолжает отправлять запросы в том же темпе? Затем мы учитываем такое поведение в диапазоне доверия бота с течением времени: постоянное снижение скорости или паузы повышают доверие, в то время как неоднократное игнорирование сигнала снижает его.
Заслуживание доверия с течением времени
Наблюдение за этими сигналами — лишь первый шаг к обеспечению подотчетности верифицированной автоматизации с течением времени. Соединяя идентификационные данные бота с доказательствами его дальнейшего поведения, мы можем дать владельцам сайтов большую уверенность в том, что боты, которых они разрешают, уважают их настройки, предоставить операторам ботов способ продемонстрировать, что они заслуживают доверия, а также предоставить владельцам сайтов контекст относительно поступающего к ним автоматизированного трафика.
Эта система вместе с Bot Preference Sync и Bot Management образует цикл подотчетности для автоматизированного трафика. Bot Preference Sync помогает владельцам сайтов публиковать свои настройки, а наблюдение за тем, как боты взаимодействуют с этими настройками, показывает, неуклонно ли Verified bots соблюдают их с течением времени. Bot Management позволяет владельцам сайтов решать, как обрабатывать этот трафик. Вместе они помогают гарантировать, что доверие зарабатывается благодаря прозрачному и подотчетному поведению, а не предполагается только на основе идентификационных данных.
Мы уже используем эту систему внутри компании, чтобы оценивать, насколько последовательно Verified bots соблюдают настройки веб-сайтов. Поскольку доверие формируется со временем, мы оцениваем устойчивые паттерны, а не отдельные изолированные события. Мы используем этот начальный этап для формирования этой истории и уточнения того, как эти наблюдения превращаются в полезные рекомендации. Опираясь на этот фундамент, мы планируем сделать систему доступной для всех клиентов Cloudflare, которые смогут выбирать порог доверия, используемый для принятия решений об обработке трафика Verified bot. Наша цель проста: сделать настройки веб-сайтов значимыми и гарантировать, что доверие зарабатывается за счет стабильного поведения.
Хотите узнать больше о том, как можно управлять ботами? Клиенты Cloudflare уже могут использовать Bot Management для управления автоматизированным трафиком и Bot Preference Sync для приведения своих опубликованных настроек в соответствие с настроенными политиками. Чтобы изучить постоянно растущую популяцию Verified bot, ознакомьтесь с трендами на .
А если вы заинтересованы в том, чтобы помочь в создании будущего идентификации и подотчетности ботов, изучите открытые вакансии в Cloudflare.
