- Как идентифицировать и перенаправлять запросы ботов
- Искажение цен для ботов-парсеров конкурентов Проблема Централизованное решение Решение на базе Akamai Functions
- Проблема
- Централизованное решение
- Решение на базе Akamai Functions
- Защита каталога и фидов от агрегаторов Проблема Централизованное решение Решение на базе Akamai Functions
- Проблема
- Централизованное решение
- Решение на базе Akamai Functions
- Полный контроль над тем, кто получает ваши данные Проблема Централизованное решение Централизованное решение Решение на базе Akamai Functions
- Проблема
- Централизованное решение
- Централизованное решение
- Решение на базе Akamai Functions
- Контролируйте свои данные о ценах так, как вам нужно
Основные выводы
Традиционная блокировка по IP предупреждает парсеров, вызывая бесконечный эскалационный цикл, который создает риск блокировки реальных покупателей и партнеров.
Сегодня на долю ИИ-ботов приходится более половины всего интернет-трафика. Они атакуют сайты электронной коммерции, чтобы перехватывать цены и каталоги товаров.
Объединив Akamai Bot Manager с нативными для граничных узлов (edge) функциями Akamai Functions, вы можете классифицировать входящие запросы прямо на границе сети. Вместо блокировки парсеров Akamai Functions действуют как прокси-сервер перезаписи, возвращая плохим ботам случайные или искаженные данные о ценах, сохраняя при этом полный доступ для легитимных покупателей и поисковых систем.
Этот подход контент-шейпинга помогает помешать конкурентам демпинговать ваш бизнес, снизить затраты на исходящий трафик с исходного сервера и держать вашу ценовую стратегию под контролем.
Проблема: конкуренты парсят ваши страницы, анализируют ваш каталог и занижают цены. Вы пытаетесь реагировать, корректируя цены для конкуренции. Но конкуренты просто снова парсят страницы и снова снижают цены. Это нисходящая спираль, которая стоит вам клиентов и продаж.
Решения даются с трудом. Вы не можете скрыть свои данные: покупатели не могут купить то, чего не видят. И вы не можете заблокировать ботов. Блокировка подсказывает парсеру, что его обнаружили, и он неизбежно меняет IP-адреса или цифровые отпечатки (fingerprints), а затем возвращается. Вы можете попытаться внедрить сложные правила, но тогда вы рискуете отсечь поисковые индексаторы и партнерские интеграции, которые должны проходить на сайт. У всех этих решений есть недостатки.
Требуется решение, которое сохраняет конфиденциальность ваших цен и каталога и позволяет выборочно решать, какие данные видит каждый посетитель. С помощью Akamai Functions вы можете сделать именно это. Вы можете идентифицировать ботов, решать, какие из них хорошие, а какие плохие, определять, какие данные видит каждая категория, и делать все это прямо на границе сети, где уже проходит каждый запрос, до того как боты достигнут ваших данных.
Давайте посмотрим, как это работает.
Как идентифицировать и перенаправлять запросы ботов
Боты захватывают интернет. Большая часть трафика, поступающего на страницы вашего сайта, больше не является человеческой. Согласно отчету о состоянии интернета (SOTI) за 2026 год, активность ИИ-ботов выросла на 300% в 2025 году, и теперь боты составляют 51% of global web traffic. На долю плохих ботов приходится почти две трети трафика ботов и 37% всего интернет-трафика. Проанализировав 6,9 миллиарда запросов к сайтам электронной коммерции, компания Akamai выяснила, что 65% этого бот-трафика поступает от парсеров, классифицированных как плохие боты.
Ваши задачи заключаются в следующем:
- Сегментируйте ваш трафик на плохих ботов, хороших ботов и людей.
Сегментируйте ваш трафик на плохих ботов, хороших ботов и людей.
- Предоставляйте каждому сегменту выбранную вами информацию так, чтобы боты не догадывались, что им передается измененный контент.
Предоставляйте каждому сегменту выбранную вами информацию так, чтобы боты не догадывались, что им передается измененный контент.
С помощью Akamai эти два шага выполняются на границе сети и согласованно.
Сначала Akamai Bot Manager классифицирует входящий трафик на границе сети и присваивает ему оценку: человек или бот, а среди ботов — хороший или плохой (Рисунок).
Реальные пользователи и поисковые индексаторы (хорошие боты) идентифицируются и пропускаются к вашему кешу или исходному серверу. Падения позиций в выдаче, потери клиентов и сбоев у партнеров не происходит. Трафик, классифицированный как парсер (или другой плохой бот), перехватывается и направляется в Akamai Functions.
Затем Akamai Functions выступает в роли прокси-сервера перезаписи. Он формирует и возвращает измененный ответ, в котором проприетарные данные удалены, замаскированы или заменены сводными значениями. Страница блокировки или ошибки отсутствуют. Бот-парсер не получает никаких сигналов о том, что его обнаружили.
Классификация, перезапись и кеширование происходят скоординированно и прямо на входе в интернет (на границе сети), причем функция выступает связующим звеном между вердиктом Bot Manager и ответом. Ответ кешируется на границе сети для следующего раза, когда парсер запросит ту же страницу.
Благодаря этому решению вы полностью контролируете, кто видит ваши данные.
Давайте рассмотрим три примера того, как это может работать в реальном мире, включая то, как:
- Искажать цены для ботов-парсеров конкурентов
Искажать цены для ботов-парсеров конкурентов
- Защищать свой каталог и фиды от агрегаторов
Защищать свой каталог и фиды от агрегаторов
- По-настоящему контролировать, кто получает ваши данные
По-настоящему контролировать, кто получает ваши данные
Искажать цены для ботов-парсеров конкурентов
Проблема
Бот конкурента заходит на ваши страницы товаров каждые три минуты. Это шпион внутри вашего магазина: бот считывает ваши цены, передает их в свою систему переоценки и автоматически корректирует свои цены, чтобы сделать их ниже ваших.
Централизованное решение
В традиционном решении вы реагируете, блокируя бота по IP-адресу и цифровому отпечатку. К сожалению, бот часто понимает, что это произошло. Он просто меняет адрес на новый и снова обращается к вашему сайту. Вы отвечаете созданием еще одного правила, блокировкой другого IP, но бот снова меняется. И так далее.
В конце концов правило становится настолько сложным, что начинает блокировать реальных покупателей или хороших поисковых роботов. Ваше решение превращается в эскалационный цикл, в котором вы постоянно находитесь в роли догоняющего и никогда не сможете победить.
Решение на базе Akamai Functions
При внедрении решения на базе Akamai Functions менеджер Bot Manager перехватывает запрос на границе сети и оценивает его как парсер. Поскольку вы хотите сохранить конфиденциальность своих цен, запрос отправляется в Akamai Functions, которая перезаписывает только цену в ответе, заменяя реальное число устаревшим, случайным или скрытым значением. Остальная часть ответа остается неизменной.
Поскольку парсер никогда не блокируется, он не подозревает, что его обнаружили. Он получает и обрабатывает измененные данные, предоставляя своей системе переоценки те цифры, которые вы решили ему показать. Страница для покупателя остается абсолютно нетронутой.
Вы эффективно обнаружили шпиона и составили для него отчет — и все это без его ведома.
Защита каталога и фидов от агрегаторов
Проблема
Агрегатор нацелился на ваш сайт. В отличие от первого примера, агрегаторам не нужна какая-то одна цена для демпинга. Им нужен весь ваш каталог — артикулы (SKU), описания, изображения, наличие и цены — чтобы воссоздать каталог и выставить ваши товары на продажу в другом месте.
Розничные каталоги — их главная добыча: более 45% трафика ИИ-ботов в сетях Akamai приходится на клиентов из сферы ритейла, которых привлекают чистые, структурированные данные о товарах, ценах и наличии, которые страницы электронной коммерции публикуют по необходимости.
Централизованное решение
В традиционном дизайне страницы вашего каталога и продуктовые API по необходимости остаются полностью открытыми. Вы можете пытаться отслеживать и блокировать массовые запросы ботов, но ботам легко обходить ограничение частоты запросов на исходном сервере. Они просто замедляют работу и распределяют запросы по разным адресам.
Что еще хуже, каждый пропущенный бот-скрейпер увеличивает нагрузку на исходный сервер и стоимость исходящего трафика. Вы не только отдаете данные, которые будут использованы против вас, но и сами платите за их предоставление.
Решение на базе Akamai Functions
Более удачным решением является использование Akamai Functions в сочетании с классификацией Bot Manager. Такой подход позволяет развернуть набор правил формирования контента и определять для каждого запроса, что именно получает конкретный клиент.
Например, когда Bot Manager обнаруживает, что вызывающий объект является ботом-скрейпером, он совместно с Akamai Functions возвращает ухудшенный ответ: усеченные поля, отсутствие данных о запасах и сводку вместо полностью структурированного фида. Когда Bot Manager классифицирует вызывающий объект как покупателя или доверенного партнера, функция возвращает полный первоначальный ответ.
Одна функция, развернутая в регионах Akamai Cloud, может применять единую политику на любом маршруте, который попытается использовать скрейпер (как на веб-странице, так и в продуктовом API), и перехватывать этот трафик до того, как он достигнет вашего исходного сервера.
Получите полный контроль над тем, кто получает ваши данные
Проблема
Вы стали слишком агрессивны в борьбе с ботами-скрейперами и случайно блокируете трафик, который хотите пропускать. Партнеры по сравнению цен, с которыми у вас заключены соглашения, ваши собственные мобильные приложения и авторизованные реселлеры — всем им нужны настоящий каталог и актуальные цены для выполнения своей работы.
Централизованное решение
В традиционных архитектурах доступ обычно работает по принципу «все или ничего». Вы открываете данные настолько широко, что их могут собирать как партнеры, так и конкуренты. Либо вы закрываете доступ, ломая интеграции, от которых зависят ваши продавцы. Ни один из вариантов не работает должным образом.
Централизованное решение
В традиционных архитектурах доступ обычно работает по принципу «все или ничего». Вы открываете данные настолько широко, что их могут собирать как партнеры, так и конкуренты. Либо вы закрываете доступ, ломая интеграции, от которых зависят ваши продавцы. Ни один из вариантов не работает должным образом.
Решение на базе Akamai Functions
С помощью Akamai функция связывает идентификацию и авторизацию с классификацией Bot Manager. Ключи, подписи и списки разрешенных проверяются на границе сети (edge) по состоянию в хранилище Akamai EdgeKV. Доверенный клиент получает полные данные, а все остальные — усеченное или измененное представление. Вы решаете, кто и что видит, для каждого запроса и в едином месте, вместо того чтобы распределять эту логику по приложениям на вашем исходном сервере.
Решение также масштабируется вместе с вами. Трафик ИИ-ботов уже вырос на 300% год к году, а только в сфере электронной коммерции за двухмесячный период было зафиксировано более 25 миллиардов запросов от ИИ-ботов.
Следующими клиентами у вашего порога могут стать хорошие боты нового типа: ИИ-агенты для совершения покупок, которые действуют от имени клиента и нуждаются в таком же аутентифицированном доступе к реальным ценам и актуальным остаткам, который есть у ваших партнеров сегодня. Akamai позволяет сказать «да» агентам, которые пришли совершать покупки, и «нет» ботам, которые пришли заниматься скрейпингом, используя единую точку принятия решений на самом пороге.
Управляйте ценовыми данными так, как вам удобно
Опубликованная цена — это издержки ведения бизнеса в интернете, но она не обязательно должна быть бесплатным фидом для каждого конкурента. Во всех трех приведенных выше примерах мы увидели, как можно использовать Akamai Functions и Bot Manager в связке для классификации трафика, формирования ответов и определения того, что видит каждый клиент, прямо на границе сети.
