Основные выводы:
- Скрапинг больше не ограничивается вашим исходным сервером. Значительная его часть попадает в кэш CDN. Fastly Bot Management и ContentGuard охватывают оба направления.
Скрапинг больше не ограничивается вашим исходным сервером. Значительная его часть попадает в кэш CDN. Fastly Bot Management и ContentGuard охватывают оба направления.
- Разумная политика в отношении ботов по-разному относится к различным ботам. Она пропускает поисковые системы и краулеры LLM, блокирует известных злоумышленников и замедляет работу тех, кто занимается слишком агрессивным скрапингом, — в зависимости от того, кто они такие и как себя ведут.
Разумная политика в отношении ботов по-разному относится к различным ботам. Она пропускает поисковые системы и краулеры LLM, блокирует известных злоумышленников и замедляет работу тех, кто занимается слишком агрессивным скрапингом, — в зависимости от того, кто они такие и как себя ведут.
- Панель управления Fastly Bot Management показывает, что обращается к вашему сайту и как оно себя ведет. Всего в несколько кликов вы можете заблокировать, разрешить или проверить их.
Панель управления Fastly Bot Management показывает, что обращается к вашему сайту и как оно себя ведет. Всего в несколько кликов вы можете заблокировать, разрешить или проверить их.
Бот-трафик в интернете растет быстрее, чем когда-либо прежде, что приводит к нежелательным проблемам с безопасностью и снижению производительности веб-сайтов и приложений. Запросы AI на платформе Fastly росли примерно в 6,5 раз быстрее, чем человеческий трафик за тот же период времени.
Но мы уже знаем, что блокировка всего автоматизированного трафика не является жизнеспособной технической или бизнес-стратегией. Это особенно верно, если вы хотите, чтобы ваш контент индексировался и отображался в результатах поиска на базе AI, или если вы хотите применять правила монетизации к вашему контенту каждый раз, когда его запрашивает бот-выборщик AI. Лучшая стратегия управления автоматизированным агентным трафиком заключается не в блокировании всего подряд. Вместо этого речь идет о намеренном и стратегическом блокировании, разрешении и контроле трафика на основе намерений и поведения конкретного оператора бота и ваших желаемых бизнес-результатов.
AI-краулеры повсюду, и ваш кэш не защищен от них
Борьба с автоматизированным бот-трафиком — не новая проблема, и решения эволюционировали с течением времени по мере изменения технологий. В первые дни существования интернета доставка контента посетителям веб-сайта была намного проще. Часть контента размещалась на сервере. Конечный пользователь запрашивал контент, и сервер доставлял его — на этом все и заканчивалось. Если бот делал тот же запрос, он обрабатывался примерно так же, как и запрос обычного пользователя. Таким образом, управление бот-трафиком сводилось в основном к выявлению трафика из автоматизированного источника и принятию мер по его блокировке, разрешению или ограничению частоты запросов.
Со временем, по мере усложнения веб-сайтов и приложений и экспоненциального роста объемов трафика, появилась технология сетей доставки контента (CDN), призванная помочь в решении задач быстрой и надежной доставки огромных объемов контента миллионам пользователей. Как Fastly решает эту проблему? Храня кэшированный контент клиентов в нашей сети, Fastly может надежно доставлять его за миллисекунды бесчисленным пользователям по всему миру, используя скорость и мощность нашей глобальной сети POP для обеспечения мгновенного цифрового взаимодействия с меньшей нагрузкой на инфраструктуру клиента.
Поскольку так много приложений и веб-сайтов используют технологию CDN, крайне важно иметь решение для управления ботами, которое может обрабатывать и смягчать последствия автоматизированного бот-трафика в любом месте, будь то бот, пытающийся получить контент напрямую с ваших серверов или из кэша вашей CDN. В зависимости от того, как структурировано ваше приложение или как работает ваша бизнес-модель, вы можете выдавать контент из кэша, с ваших исходных серверов или из их комбинации в зависимости от типа или категории контента.
Эта сложность может создавать уникальные проблемы для управления ботами, поскольку для кэшированного и некашированного контента могут потребоваться разные стратегии защиты. Эта проблема только нарастает: AI-краулеры нацелены на веб-сайты SaaS-технологий более чем в два раза интенсивнее среднемирового показателя, что отчасти обусловлено спросом на технический контент, помогающий LLM отвечать на вопросы пользователей.
Как Fastly Bot Management дает вам полный контроль
Вы можете разработать и внедрить подход, основанный на согласии, при котором вы сохраняете за собой право предоставлять или запрещать доступ к вашему контенту определенным ботам или операциям скрапинга в соответствии с вашей уникальной бизнес-моделью и индивидуальной структурой принятия решений.
С помощью Fastly Bot Management вы можете быстро понять, какие типы ботов получают доступ к вашему контенту, и получить гибкие возможности контроля их доступа на основе их идентификатора, источника или проявленного поведения непосредственно на границе сети Fastly (edge). С добавлением ContentGuard для Fastly Bot Management становится просто и понятно защитить ваш кэшированный контент от нежелательного скрапинга ботами. В зависимости от ваших потребностей, вы можете использовать Fastly Bot Management как с ContentGuard, так и без него — выбор за вами.
Управление ботами — серьезная головная боль, но ее можно упростить, имея четкую информацию для быстрого принятия решений. Именно поэтому мы создали Fastly Bot Management и ContentGuard, чтобы сделать получение этой информации быстрым и простым. Давайте посмотрим, как это может работать на практике. Сформулировав стратегический подход к конкретной проблеме управления ботами, вы можете использовать эту стратегию в сочетании с данными Fastly Bot Management для создания правил и применения логики принятия решений для трафика, который соответствует этим профилям.
Например:
- Вы хотите разрешить поисковым системам и краулерам LLM индексировать и сканировать ваш контент.
Вы хотите разрешить поисковым системам и краулерам LLM индексировать и сканировать ваш контент.
- Вы хотите заблокировать любой автоматизированный скрапинг со стороны известных или предполагаемых вредоносных скраперов.
Вы хотите заблокировать любой автоматизированный скрапинг со стороны известных или предполагаемых вредоносных скраперов.
- Вы хотите выдвигать динамические требования (challenges) к любому скрапингу с необычно высоким объемом, который создает нежелательную нагрузку на ваши системы.
Вы хотите выдвигать динамические требования (challenges) к любому скрапингу с необычно высоким объемом, который создает нежелательную нагрузку на ваши системы.
Видимость бот-трафика в режиме реального времени
На панели управления Fastly Bot Management у вас под рукой будет вся необходимая информация для идентификации этих категорий ботов и понимания их относительного влияния. Вы получаете самые важные метрики об автоматизированном бот-трафике и его поведении прямо на своей панели управления. Простая и наглядная визуализация позволяет без труда идентифицировать типы ботов, выявлять аномальное поведение и тенденции или углубляться в индивидуальное поведение агентов и закономерности трафика для дальнейшего анализа и принятия решений.
Рисунок 1: Просмотр бот-трафика по категориям или просмотр наиболее активных ботов
Как только вы определили категорию или конкретный интересующий вас бот, требуется всего несколько кликов, чтобы предпринять желаемое действие в отношении этого бота на основе заданной вами стратегии. Это дает вам необходимые элементы управления для реализации вашей стратегии на практике и может легко корректироваться с течением времени по мере изменения ваших потребностей.
Рисунок 2: Предпримите решительные действия в отношении категорий ботов на панели управления Fastly Bot Management
Подведем итог: видимость плюс контроль
Чтобы построить успешную стратегию управления ботами, вам необходимо четко понимать, какие боты существуют и что они делают. Исходя из этого, вы можете определить, какие боты действительно «желательны» и приветствуются в ваших системах благодаря приносимой ими пользе для вашего бизнеса, и заблокировать тех, которые не соответствуют этому критерию. Вы можете с высокой степенью детализации определить, когда разрешать полный доступ, когда и как показывать или ограничивать контент, либо полностью блокировать проверенных или подозреваемых ботов на уровне категорий или отдельных сущностей.
В конечном счете, управление ботами — это не просто блокировка, это получение контроля, позволяющего допускать только тех агентов, которых вы выбрали, с вашего согласия и теми способами, при которых ваш бизнес может продолжать достигать своих целей. Решение Fastly Bot Management позволяет легко определить, какие боты получают доступ к вашему наиболее ценному контенту и как они с ним взаимодействуют, а также быстро и легко принимать меры всего в несколько кликов. ContentGuard добавляет дополнительную защиту кэшированного контента от нежелательного парсинга ботами, обеспечивая гибкость в защите любого необходимого контента, где бы он ни находился. Обладая четкой прозрачностью и контролем, вы сможете использовать преимущества искусственного интеллекта для парсинга контента и развивать свой бизнес в эпоху ИИ.
Готовы начать? Свяжитесь с нами, чтобы узнать больше о Bot Management и ContentGuard.
