Как идентифицировать и перенаправлять запросы ботов

Затушевывание цен для ботов-парсерщиков конкурентов Проблема Централизованное решение Решение на базе Akamai Functions

Проблема

Централизованное решение

Решение на базе Akamai Functions

Защита каталога и фидов от агрегаторов Проблема Централизованное решение Решение на базе Akamai Functions

Проблема

Централизованное решение

Решение на базе Akamai Functions

Полный контроль над тем, кто получает ваши данные Проблема Централизованное решение Централизованное решение Решение на базе Akamai Functions

Проблема

Централизованное решение

Централизованное решение

Решение на базе Akamai Functions

Управляйте данными о ценах так, как хотите вы

Ключевые выводы

Традиционная блокировка по IP предупреждает парсеров, вызывая бесконечный эскалационный цикл, который создает риск блокировки реальных покупателей и партнеров.

Сегодня на долю ИИ-ботов приходится более половины всего интернет-трафика. Они атакуют сайты электронной коммерции, чтобы перехватывать цены и каталоги продуктов.

Объединив Akamai Bot Manager с нативными для периферии функциями Akamai Functions, вы можете классифицировать входящие запросы прямо на периферии. Вместо того чтобы блокировать парсеры, Akamai Functions действуют как прокси-перезапись, выдавая плохим ботам случайные или искаженные данные о ценах, сохраняя при этом полный доступ для легитимных покупателей и поисковых систем.

Такой подход к формированию контента помогает помешать конкурентам демпинговать ваш бизнес, снизить затраты на исходящий трафик из источника и сохранить стратегию ценообразования под вашим контролем.

Это проблема: ваши конкуренты парсят ваши страницы, разбирают ваш каталог и занижают ваши цены. Вы пытаетесь ответить, корректируя цены для конкуренции. Но ваши конкуренты просто снова парсят страницы и делают цены ниже. Это нисходящая спираль, которая стоит вам клиентов и продаж.

Найти решения сложно. Вы не можете скрыть свои данные: покупатели не могут купить то, чего не видят. И вы не можете заблокировать ботов. Блокировка предупреждает парсер о том, что его обнаружили, и он неминуемо просто меняет IP-адреса/цифровые отпечатки (fingerprints), а затем возвращается. Вы можете попытаться внедрить сложные правила, но тогда вы рискуете отсечь поисковых индексаторов и партнерские интеграции, которые должны проходить. У всех этих решений есть недостатки.

Необходимо решение, которое сохраняет конфиденциальность ваших цен и каталога и позволяет выборочно решать, какие данные видит каждый посетитель. С помощью Akamai Functions вы можете сделать именно это. Вы можете идентифицировать ботов, решать, какие из них хорошие, а какие плохие, определять, какие данные видит каждая категория, и делать все это прямо на периферии, где уже проходит каждый запрос, до того как боты достигнут ваших данных.

Давайте посмотрим, как это работает.

Как идентифицировать и перенаправлять запросы ботов

Боты захватывают интернет. Большая часть трафика, поступающего на страницы вашего сайта, больше не является человеческой. Согласно отчету о состоянии интернета (SOTI) за 2026 год, активность ИИ-ботов выросла на 300% в 2025 году, и теперь на долю ботов приходится 51% глобального веб-трафика. На долю плохих ботов приходится почти две трети трафика ботов и 37% всего интернет-трафика. В ходе анализа 6,9 миллиардов запросов к сайтам электронной коммерции компания Akamai выяснила, что 65% этого трафика ботов поступало от парсеров, классифицированных как плохие боты.

Ваши задачи заключаются в следующем:

Сегментируйте свой трафик на плохих ботов, хороших ботов и людей.

Сегментируйте свой трафик на плохих ботов, хороших ботов и людей.

Предоставляйте каждому сегменту ту информацию, которую вы выберете, так, чтобы боты не знали, что им показывают альтернативный контент.

Предоставляйте каждому сегменту ту информацию, которую вы выберете, так, чтобы боты не знали, что им показывают альтернативный контент.

С Akamai эти два шага происходят на периферии и согласованно.

Во-первых, Akamai Bot Manager классифицирует входящий трафик на периферии и оценивает его: человек или бот, а среди ботов — хороший или плохой (Рисунок).

Реальные пользователи и поисковые индексаторы (хорошие боты) идентифицируются и проходят к вашему кэшу или источнику. Здесь нет падения позиций в выдаче, нет потери клиентов и нет сломанных интеграций с партнерами. Трафик, классифицированный как парсер (или другой плохой бот), перехватывается и направляется в Akamai Functions.

Далее Akamai Functions выступает в качестве прокси с возможностью перезаписи. Функция создает и возвращает измененный ответ, в котором конфиденциальные данные отредактированы, запутаны или обобщены. Здесь нет заблокированной страницы и нет ошибки. Бот-парсер не получает никаких сигналов о том, что его поймали.

Классификация, перезапись и кэширование происходят согласованно и прямо на пороге интернета (на периферии), причем функция выступает в роли связующего звена между вердиктом Bot Manager и ответом. И этот ответ кэшируется на периферии на случай, если парсер запросит ту же страницу в следующий раз.

С помощью этого решения вы полностью контролируете, кто видит ваши данные.

Давайте рассмотрим три примера того, как это может работать в реальном мире, включая следующие задачи:

Затушевывание цен для ботов-парсерщиков конкурентов

Затушевывание цен для ботов-парсерщиков конкурентов

Защита каталога и фидов от агрегаторов

Защита каталога и фидов от агрегаторов

Полный контроль над тем, кто получает ваши данные

Полный контроль над тем, кто получает ваши данные

Затушевывание цен для ботов-парсерщиков конкурентов

Проблема

Бот конкурента заходит на ваши страницы товаров каждые три минуты. Это шпион внутри вашего магазина: бот считывает ваши цены, передает их в свою систему переоценки и автоматически корректирует собственные цены, чтобы сделать их ниже ваших.

Централизованное решение

В традиционном решении вы отвечаете блокировкой бота по IP-адресу и цифровому отпечатку. К сожалению, бот часто понимает, что это произошло. Он просто переключается на новый адрес и снова заходит на ваш сайт. вы отвечаете написанием другого правила, блокируя другой IP, но бот снова меняется. И так далее.

В конце концов, правило становится настолько сложным, что начинает блокировать реальных покупателей или хороших поисковых роботов. Ваше решение превращается в эскалационный цикл, в котором вы постоянно находитесь в догоняющих и не можете выиграть.

Решение на базе Akamai Functions

При наличии решения Akamai Functions, Bot Manager перехватывает запрос на периферии и классифицирует его как парсер. Поскольку вы хотите сохранить конфиденциальность своих цен, запрос отправляется в Akamai Functions, которая перезаписывает только цену в ответе, заменяя реальное число устаревшим, случайным или скрытым значением. Остальная часть ответа остается неизменной.

Поскольку парсер никогда не блокируется, он не подозревает, что его обнаружили. Он получает и обрабатывает измененные данные, предоставляя своей системе переоценки те цифры, которые вы решили ему показать. Страница для покупателей остается нетронутой.

Вы эффективно обнаружили шпиона и составили для него отчет — и все это без его ведома.

Защита каталога и фидов от агрегаторов

Проблема

Агрегатор нацелился на ваш сайт. В отличие от первого примера, агрегаторам не нужна одна-единственная цена для демпинга. Им нужен весь ваш каталог — артикулы, описания, изображения, наличие и цены — чтобы воссоздать каталог и выставить ваши продукты на продажу в другом месте.

Розничные каталоги — это их цель: более 45% трафика ИИ-ботов в сетях Akamai приходится на клиентов из сферы электронной торговли, которых привлекают чистые, структурированные данные о продуктах, ценах и наличии, которые страницы электронной коммерции публикуют по необходимости.

Централизованное решение

В традиционной архитектуре страницы вашего каталога и API продуктов неизбежно остаются полностью открытыми. Вы можете пытаться отслеживать и блокировать массовые запросы ботов, но ботам легко обходить ограничения скорости на стороне исходного сервера. Они просто снижают скорость и распределяют запросы по разным адресам.

Что еще хуже, каждый прорвавшийся сквозь защиту скрапер создает дополнительную нагрузку на исходный сервер и увеличивает расходы на исходящий трафик. Вы не просто отдаете данные, которые будут использованы против вас, но еще и платите за их передачу.

Решение на базе Akamai Functions

Более удачным решением является использование Akamai Functions в сочетании с классификацией Bot Manager. Такая архитектура позволяет развернуть набор правил формирования контента и определять для каждого запроса, что именно получает конкретный клиент.

Например, когда Bot Manager обнаруживает, что вызовом занимается бот-скрапер, он совместно с Akamai Functions возвращает ухудшенный ответ: неполные поля, отсутствие данных о наличии товара и краткую сводку вместо полностью структурированного фида. Когда Bot Manager классифицирует клиента как покупателя или доверенного партнера, функция возвращает полный исходный ответ.

Одна функция, развернутая во всех регионах Akamai Cloud, может применять единую политику на любом маршруте, который попытается использовать скрапер (как на веб-странице, так и в API продуктов), и перехватывать этот трафик до того, как он достигнет вашего исходного сервера.

Получите реальный контроль над тем, кто получает ваши данные

Проблема

Вы стали действовать слишком агрессивно в ответ на боты-скраперы и случайно блокируете трафик, который хотите пропустить. Партнеры по сравнению цен, с которыми у вас есть соглашения, ваши собственные мобильные приложения и авторизованные реселлеры — всем им нужны реальный каталог и актуальные цены для выполнения своей работы.

Централизованное решение

В традиционных архитектурах доступ, как правило, работает по принципу «все или ничего». Вы открываете доступ к данным настолько широко, что их могут собирать как партнеры, так и конкуренты. Либо вы закрываете его наглухо, ломая интеграции, от которых зависят ваши продавцы. Ни один из вариантов не работает должным образом.

Централизованное решение

In traditional designs, access tends to be all or nothing. You open the data wide enough for partners and competitors alike to collect it. Or you lock it down and break the integrations your sellers depend on. Neither works well.

Решение на базе Akamai Functions

С помощью Akamai функция связывает идентификацию и авторизацию с классификацией Bot Manager. Ключи, подписи и списки разрешенных проверяются на «краю» сети (edge) в соответствии с состоянием в хранилище Akamai EdgeKV. Доверенный клиент получает полные данные, а все остальные — урезанное или измененное представление. Вы сами решаете, кто и что видит, для каждого запроса и в едином месте, вместо того чтобы распределять эту логику по приложениям на вашем исходном сервере.

Решение также масштабируется вместе с вашим бизнесом. Трафик ботов на базе ИИ уже вырос на 300% в годовом исчислении, а только в секторе электронной коммерции за двухмесячный период было зафиксировано более 25 миллиардов запросов от ИИ-ботов.

Следующими клиентами у вашего порога могут стать добрые боты нового типа: ИИ-агенты для совершения покупок, которые действуют от имени клиента и нуждаются в таком же аутентифицированном доступе к реальным ценам и актуальным запасам, какой сегодня есть у ваших партнеров. Akamai позволяет говорить «да» агентам, которые пришли совершать покупки, и «нет» ботам, которые пришли заниматься скрапингом, используя единую точку принятия решений прямо на входе.

Управляйте своими данными о ценах так, как вам хочется

Опубликованная цена — это издержки ведения бизнеса в интернете, но она не обязательно должна быть бесплатным фидом для каждого конкурента. Во всех трех приведенных выше примерах мы показали, как можно использовать Akamai Functions и Bot Manager вместе для классификации трафика, формирования ответов и определения того, что видит каждый клиент, прямо на входе.

Готовы узнать, как внедрять решения с помощью Akamai Functions? Ознакомьтесь с Руководством по быстрому началу работы с Functions в TechDocs или свяжитесь с нашей командой уже сегодня.

Об авторах

Мэтт Бутчер

Мэтт Бутчер — вице-президент по управлению продуктами в Akamai и пионер в области Open Source. Он участвовал в создании таких проектов, как Helm, Spin, SpinKube, CNAB, Krustlet, Brigade и Open Application Model, а также внес свой вклад в более чем 200 проектов с открытым исходным кодом.

Ключевые выводы

Как идентифицировать и перенаправлять запросы ботов

Затушевывание цен для ботов-парсерщиков конкурентов

Проблема

Централизованное решение

Решение на базе Akamai Functions

Защита каталога и фидов от агрегаторов

Проблема

Централизованное решение

Решение на базе Akamai Functions

Получите реальный контроль над тем, кто получает ваши данные

Проблема

Централизованное решение

Централизованное решение

Решение на базе Akamai Functions

Управляйте своими данными о ценах так, как вам хочется

Об авторах

Мэтт Бутчер

Теги