Работает ли llms.txt? Что говорят данные об ИИ-поиске

Источник: Optimizely•

Работает ли llms.txt? Что говорят данные об ИИ-поиске

Четыре исследования и собственные рекомендации Google показывают, что файл llms.txt практически никак не влияет на видимость в ИИ-поиске. Вот доказательства и случаи, когда его всё же стоит внедрить.

Прямо сейчас какая-то маркетинговая команда добавляет llms.txt на свой сайт, потому что в посте на LinkedIn сказали, что от этого зависит ИИ-поиск. Я понимаю это стремление. Когда ИИ-ответы начинают отнимать ваши клики, сделать хоть что-то лучше, чем не делать ничего.

Данные получены, и они практически единогласны. Четыре независимых исследования, охватывающие сотни тысяч доменов и более 500 миллионов визитов ИИ-ботов, показали, что ИИ-краулеры практически никогда не запрашивают этот файл. Google письменно заявил, что его поисковые продукты игнорируют его.

Итак, вот честный вердикт с фактами на руках. А также короткий список сайтов, где llms.txt все еще имеет смысл.

llms.txt — это простой файл в формате Markdown, который располагается в корне сайта (yoursite.com/llms.txt) и предоставляет большим языковым моделям краткую, подобранную карту сайта: что это за ресурс, какие страницы имеют значение, и однострочное описание каждой из них. Джереми Ховард предложил этот формат в сентябре 2024 года. Некоторые сайты также публикуют llms-full.txt, который объединяет полный текст ключевых страниц в один файл.

На бумаге это имеет смысл. Современные веб-страницы перегружены навигацией, скриптами и баннерами файлов cookie. Чистая сводка должна сэкономить ИИ-системе время и контекст.

В чем подвох? Это предложение от сообщества. Ни один орган по стандартизации не поддерживает его, и ни один крупный ИИ-провайдер не взял на себя обязательство читать его. Что приводит нас к логам сервера.

Четыре команды искали доказательства того, что llms.txt меняет то, как ИИ-системы относятся к сайту. Вот что они обнаружили.

SE Ranking проверила примерно 300 000 доменов и выяснила, что файл llms.txt есть у 10,13% из них. Было обнаружено отсутствие четкой связи между наличием файла и попаданием в цитаты в ИИ-ответах. Среди 50 доменов, наиболее часто цитируемых ИИ в этой выборке, файл нашелся только у одного.

Limy отслеживала более 500 миллионов визитов ИИ-ботов в течение 90 дней. Only 408 requested llms.txt directly.

Otterly провела 90-дневный тест серверных логов на сайте с правильно созданным файлом. Из более чем 62 100 визитов ИИ-ботов 84 touched llms.txt. Это примерно 0,1%.

Ahrefs отслеживала 137 210 доменов и обнаружила 97% of llms.txt files got zero requests в мае 2026 года. Из тех запросов, которые все-таки происходили, менее пятой части поступало от известных ИИ-инструментов во главе с GPTBot и Claude Code.

Разные методы, тот же результат. Уровень внедрения реальный, но мизерный, и боты, которые решают, что цитировать в ИИ-ответах, в основном пропускают файл и читают ваш HTML.

Google последователен в этом вопросе уже больше года. А затем зафиксировал свою позицию письменно.

Июль 2025 года: Гэри Илш (Gary Illyes) заявил на Search Central Live, что Google не поддерживает llms.txt и не планирует этого делать.

Сравнение с метатегом keywords: Джон Мюллер сравнил llms.txt со старым метатегом keywords — описанием сайта самим сайтом, — в то время как поисковая система предпочитает читать сам сайт.

15 мая 2026 года: первое руководство Google по ИИ-оптимизации включило llms.txt в число тактик, которые не нужны для AI Overviews и AI Mode.

15 июня 2026 года: Google добавил примечание о том, что вам не нужны машиночитаемые ИИ-файлы или Markdown для появления в Поиске Google, поскольку Поиск их не использует. Наличие файла не поможет и не навредит.

Один нюанс, о котором стоит знать: команда Lighthouse в Chrome добавила экспериментальную проверку, которая checks for llms.txt as a sign of agentic browsing readiness. Та же компания, другая задача. Поиск Google игнорирует файл, в то время как некоторые браузерные агенты могут его искать.

В этом нет ничего загадочного, если посмотреть на то, как на самом деле работает ИИ-поиск.

ИИ-краулеры уже отлично читают HTML. Удаление навигации и шаблонного текста — решенная проблема.

Извлечение данных происходит страница за страницей. Когда ассистент отвечает на вопрос, он извлекает страницу, которая отвечает на него лучше всего. Краткая сводка по сайту отвечает мало на что.

Самодельные сводки легко манипулировать. Именно это и погубило метатег keywords.

Ни один крупный игрок не подписался под этим. Без обязательств крупного провайдера читать его, файл представляет собой письмо без адресата.

Файл llms.txt говорит ИИ, чем, по вашим утверждениям, является ваш сайт. ИИ-поиск предпочитает проверять это самостоятельно.

Файл llms.txt говорит ИИ, чем, по вашим утверждениям, является ваш сайт. ИИ-поиск предпочитает проверять это самостоятельно.

У этого файла есть реальная аудитория. Она меньше и более технически ориентирована, чем предполагает шумиха.

Сайты документации и справочников по API. Кодинг-агенты запрашивают llms.txt, чтобы быстро найти нужную страницу документации. Claude Code стал вторым по частоте запросов среди названных инструментов в данных Ahrefs.

Инструменты для разработчиков и технический SaaS. Когда разработчики спрашивают своего ИИ-помощника о вашем продукте, чистая карта вашей документации помогает ему ответить.

Крупные базы знаний. Курируемый индекс указывает агентам на каноническую страницу вместо устаревшей.

Команды, тестирующие браузерные агенты. Экспериментальная проверка Lighthouse от Chrome ищет этот файл.

Если вы относитесь к одной из этих категорий — внедряйте. Это недорого. Просто генерируйте его из своей CMS, чтобы он обновлялся вместе с контентом. Файл, отредактированный вручную, в котором указаны перемещенные страницы или старые цены, хуже полного отсутствия файла, потому что редкие читающие его инструменты будут воспринимать его как истину.

Вот возражение, которое я чаще всего слышу от разработчиков, и оно вполне обоснованно. Каждая тактика «агентной готовности», кажется, требует от команд поддерживать вторую версию своего контента: одну для людей, другую для машин. Комментатор в ветке Hacker News, посвященной WebMCP, выразился прямо:

Если вы поддерживаете две версии информации, одну для обычных людей, а другую для агентов, это лишь вопрос времени, когда они начнут расходиться друг с другом.

Если вы поддерживаете две версии информации, одну для обычных людей, а другую для агентов, это лишь вопрос времени, когда они начнут расходиться друг с другом.

Они правы. Параллельные файлы расходятся. Решение заключается в одном хорошо смоделированном источнике контента, который обслуживает обоих читателей. Когда ваш контент хранится в структурированных полях, таких как заголовки, краткие описания, ответы и сущности, вы можете отображать страницу для людей, ответ API для агентов или файл llms.txt из одного и того же источника. Вот для чего нужно моделирование контента.

Это также лежит в основе более новых предложений, таких как WebMCP, которые описывают действия, которые агент может выполнять на вашем сайте. Создайте источник один раз, а затем позвольте каждому формату брать данные из него.

Если цель состоит в том, чтобы появиться в ИИ-ответах, потратьте часы этого квартала сначала сюда.

Впустите ИИ-краулеры. Проверьте robots.txt и настройки ботов вашего CDN. Ничто другое из этого списка не имеет значения, если краулеры, стоящие за ИИ-ответами, не могут добраться до ваших страниц.

Ставьте ответ на первое место. Начинайте каждую страницу с прямого ответа, а затем добавляйте глубину. Так проще и человеку пробежаться глазами, и модели — процитировать. Вот подробности о том, чем SEO отличается от AEO.

Структурируйте контент по полям, а не сплошным текстом. Понятные заголовки, последовательные сводки и хорошо смоделированный контент легче извлекать и цитировать.

Держите структурированные данные в честном виде. Используйте стандартную схему, чтобы описать то, что действительно находится на странице. Пропускайте все, что было придумано исключительно для ботов.

llms.txt — это разумная идея, которую системы, волнующие большинство маркетологов, решили проигнорировать. Если вы управляете сайтом документации или продуктом для разработчиков, опубликуйте его и генерируйте автоматически. Если вы пытаетесь выиграть ИИ-поиск, это не сдвинет дело с мертвой точки, и эти часы лучше потратить на базовые вещи, которые действительно работают.

Что-то делать для ИИ-поиска приятно. Делать правильные вещи работает лучше.

О чём эта статья

Ещё в разделе «Маркетинг и реклама»

Все →

Ещё от Optimizely