Оптимизация вашего сайта для ИИ не имеет особого смысла, если ИИ не сможет его найти. Ответ на чей-то вопрос уже может находиться на вашем сайте: в руководстве по установке, на написание которого вы потратили неделю, или в рассказе из первых рук об использовании продукта, с теми деталями, которые имеют решающее значение для принятия решения о покупке. По мере того как все больше людей обращаются за помощью к ИИ, вы хотите, чтобы эти системы находили вашу работу, точно представляли ее и направляли заинтересованных людей к вам. Вы также хотите контролировать то, как они получают доступ к вашему сайту.
Cloudflare и OpenAI запустили исследовательский пилотный проект в июле 2026 года, помня об этих интересах. Мы хотели выяснить, могут ли сигналы из сети Cloudflare помочь пользователям ChatGPT находить новый контент более эффективно.
Сегодня мы делимся первыми результатами. Пока ответ звучит решительно «да»: пилотный проект помог добавить ранее неизвестные страницы в поисковый индекс OpenAI, предоставив ChatGPT больше источников, к которым можно обратиться, чтобы помочь людям найти релевантную и актуальную информацию. По ходу дела мы узнали больше о том, что делает страницу ценной для обнаружения и как системы ИИ используют веб.
Находим больше в интернете
Веб полон конкретики. Тому, кто чинит стиральную машину, нужна инструкция именно для его модели. Тому, кто подает заявление на получение паспорта, нужны актуальные требования и сборы. Тому, кто выбирает местный ресторан, нужно его последнее меню и часы работы. Нахождение правильной страницы может стать разницей между неправильным ответом и тем, который действительно помогает. Эти страницы могут быть ценными, даже если на них ссылаются немногие другие сайты.
В прошлой версии веба видимость означала попадание на вершину страницы результатов поиска. Затем человек, посетивший вашу страницу, должен был сам определить ценность информации, забронировать этот столик, подать заявление на получение паспорта. Поскольку люди все больше полагаются на ИИ для поиска информации и выполнения задач, видимость приобретает новое значение. Системы ИИ должны находить правильные источники, понимать, что полезно, и связывать людей с релевантной информацией — будь то через ответ, цитату или посещение самого веб-сайта.
Сеть Cloudflare предоставляет сигналы, которые могут помочь поисковому роботу OpenAI находить более полезные страницы по всему интернету для демонстрации пользователям ChatGPT. Затем OpenAI независимо оценивает и ранжирует то, как эти страницы отображаются, основываясь на их релевантности и полезности. Вместе это создает цикл обратной связи, который может улучшить как обнаружение, так и качество информации, которую находят люди.
Этот совместный пилотный проект, в котором задействована участвующая группа размером около 1% от общей сети Cloudflare, позволил OpenAI обнаружить и проиндексировать сотни миллионов новых веб-страниц, помогая людям находить более полезный контент и получать больше ответов на вопросы с помощью ChatGPT. Ссылаясь на релевантные источники, поиск ChatGPT также дает людям возможность изучить оригинальный контент и открыть для себя веб-сайты и издателей, стоящих за ним.
С помощью GPT-6 and Intelligent UI, OpenAI также делает ChatGPT еще лучшим местом для покупок, обучения и поиска ответов, предлагая более визуальные, интерактивные возможности, адаптированные под нужды людей. Эта работа дополняет данные достижения, помогая ChatGPT находить более полезную и актуальную информацию по всему интернету.
От обнаружения к полезным ответам
Нахождение URL — это только начало. Нам нужно знать, ведет ли он на страницу, к которой у человека есть доступ, предлагает ли эта страница что-то уникальное и кому-то в чем-то помогает.
Мы узнали, например, насколько легко автоматизированный трафик может сделать несуществующую страницу интересной. Боты постоянно запрашивают файлы, которых там нет. Некоторые сайты перенаправляют практически любой адрес на свою домашнюю страницу. Другие адреса ведут на копии одного и того же контента. Распознавание этих шаблонов дает нам возможность сократить пустую работу до того, как поисковый робот загрузит страницу, и повысить эффективность способом, который приносит пользу владельцам сайтов.
Мы также тестируем сигналы, которые идентифицируют и помечают потенциально вредоносные страницы, добавляя еще один уровень информации для поддержки более безопасного и надежного поиска. На легитимном сайте может быть одна скомпрометированная страница, например фальшивая форма входа, оставленная злоумышленником. Пометка этой конкретной страницы, а не всего домена, обеспечивает безопасность людей без применения санкций к владельцу сайта. Первые результаты показывают, что эти сигналы могут помочь выявить страницы, которые следует держать вне индекса.
Делаем поиск проще
Поскольку все больше людей используют ИИ для поиска информации, у владельцев веб-сайтов появляются новые возможности для охвата заинтересованной аудитории. Для тех, кто решает сделать свой контент доступным для систем ИИ, эти улучшения делают поиск проще и эффективнее.
Поспевать за всем путем частой загрузки каждой страницы было бы дорого для всех. Для владельца сайта робот, который многократно скачивает неизмененную страницу, создает нагрузку, не принося никакой пользы.
Описанные выше сигналы помогают нам этого избежать. Фильтрация удерживает роботов от страниц, которые не существуют или перенаправляют в другое место. Сигналы об изменениях подсказывают им, когда страница заслуживает повторного визита, а когда нет.
Здесь нужно соблюсти баланс. Обнаружение новых страниц может поначалу увеличить частоту скачивания по мере их оценки и индексации. Цель состоит в том, чтобы продолжать поиск и оставаться в курсе событий, сокращая при этом затраты на это труда. Для клиентов Cloudflare это означает меньшую ненужную нагрузку. Для OpenAI это означает, что больше ее поисковых ресурсов расходуется на информацию, которая помогает людям.
Сделать участие полезным
Следующий этап будет опираться на то, чему мы научились: улучшить выбор страниц, протестировать более быстрые и надежные сигналы об изменениях и измерить то, что происходит после обнаружения контента.
Мы продолжаем работать с OpenAI, чтобы понять, как улучшенный поиск по сайтам может трансформироваться в реальные бизнес-результаты, и будем продолжать делиться тем, что мы узнаем на этом пути.
Выбор владельцев доменов имеет значение на протяжении всего процесса. Сигнал о странице не дает разрешения на доступ к ней. В этом исследовании используются метаданные о веб для поиска и обнаружения, а не обмен содержимым страниц для обучения моделей.
Вы можете использовать Cloudflare’s AI Crawl Control для понимания того, как системы ИИ получают доступ к вашему веб-сайту, и управления этим процессом.
