Корпоративные агенты данных: точность начинается с ранних этапов

В этом блоге представлен обзор технического доклада, сессия 3A, с конференции revAlation в Чикаго, проходившей в здании The Old Post Office.

Я работаю инженером в Alation около четырех лет, последние два из которых посвятил интеграциям. Это означает внедрение Alation непосредственно в инструменты, которые команды уже используют для общения, такие как Slack, Teams, плагины и клиенты MCP. За это время я помог многим корпоративным командам настроить агентов данных в таких отраслях, как гейминг, онлайн-беттинг, экологические услуги и многих других.

Мы почти всегда наблюдаем одну и ту же картину. Получить самый первый ответ кажется простым делом. Но предоставить точный ответ, который можно уверенно защитить перед аудитором в любой момент, даже когда исходные данные постоянно меняются, — это совсем другая история. В феврале 2025 года Gartner прогнозировала, что к 2026 году организации откажутся от 60% ИИ-проектов, не подкрепленных данными, готовыми к использованию в ИИ.

Именно устранение этого разрыва привело меня на конференцию revAlation в Чикаго в 2026 году.

Получение первого ответа кажется магией

Чтобы начать демонстрацию, я полностью пропустил интерфейс Alation и открыл Slack.

Я ввел один вопрос: «На какой гонке 2024 года Макс Ферстаппен получил наибольшее преимущество за счет андерката?». Пока агент обрабатывал запрос, я разобрал его для аудитории. Через несколько секунд Slack выдал точный ответ и автоматически сгенерированную диаграмму.

С точки зрения конечного пользователя, это выглядит невероятно просто. Мне не нужно было знать, где хранятся исходные данные, как структурированы таблицы или как настроены продукты данных. Я просто задал вопрос в инструменте, которым пользуюсь каждый день.

Ранее в своем докладе мои коллеги утверждали, что лучшее управление данными — это невидимое управление: бесшовный слой, работающий в фоновом режиме. Я полностью согласен, но с одной важной оговоркой: невидимая инфраструктура — это не отсутствие инфраструктуры. Все, о чем пользователю не пришлось беспокоиться в Slack, должно было быть намеренно определено и регламентировано заранее.

Для этой демонстрации я намеренно использовал общедоступный набор данных «Формулы-1» с Kaggle, а не идеальную демонстрационную среду. Реальные корпоративные данные хаотичны, но гонки «Формулы-1» — это общая область, где люди могут мгновенно заметить, если ответ кажется неверным. Если исходная структура неверна, ее невозможно скрыть за отполированной заранее подготовленной демонстрацией.

Так что же это было за вещь, о которой мне не нужно было знать?

Поскольку вы читаете этот отчет, а не общаетесь в Slack, давайте заглянем за кулисы:

Каталог содержит каждый фрагмент данных. Сюда входят регламентированные объекты, документы, отчеты бизнес-аналитики, ключевые показатели, онтологии, пользовательские поля и все метаданные, лежащие в основе. Он служит нашим центральным источником достоверной информации, и мы намеренно делаем его полным.

Именно поэтому мы не «скармливаем» весь каталог ИИ-агенту. Быть всеобъемлющим — это совсем не то же самое, что быть готовым к конкретной задаче. Если вы попросите модель искать ответы по всей экосистеме данных, вы сделаете поиск нужной информации неоправданно сложным.

Продукт данных (data product) дает вам именно ту настройку, которая нужна для конкретной задачи. Представьте его как тщательно подобранный пакет, извлеченный прямо из каталога для одной четкой цели. Вы получаете ключевые таблицы, документы с бизнес-правилами, метрики для расчетов и онтологию, показывающую, как все взаимосвязано. Мы упаковываем это, фокусируем и передаем агенту.

Настройка для моей демонстрации была простой. Она содержала набор таблиц «Формулы-1», письменный контекст о том, как делать к ним запросы, утвержденные термины глоссария и несколько примеров вопросов, чтобы первый человек, открывший его, не смотрел на пустой экран.

Каждый выбор, который я выделил, записывается где-то внутри этого пакета. Вот как это выглядит на практике.

Анатомия вопроса из десяти слов

«На какой гонке 2024 года Макс Ферстаппен получил наибольшее преимущество за счет андерката?». Этот простой вопрос содержит пять явных возможностей сбиться с пути, и ни одна из них не связана с недостатком самой модели:

«2024» — это не стандартный календарный год. Сезон «Формулы-1» обычно длится с марта по ноябрь, но изменения в расписании могут перенести гонку на следующий календарный год. Это работает почти как финансовый год. Чтобы помочь агенту установить правильные рамки, кто-то должен был определить, что включает в себя сезон 2024 года, а отдельный процесс должен был подтвердить, что таблица включает каждую гонку. Эта вторая часть опирается на проверку качества данных, а не на простую подсказку (промпт).

«Гонка» должна соотноситься с реальной таблицей. Таблица может называться «races», или «race_1», или иметь совершенно другое название. Слова в вопросе и технические названия в каталоге не идентичны, поэтому что-то должно преодолеть этот разрыв. Именно здесь на помощь приходит продукт данных, связывающий повседневную лексику непосредственно с базовыми активами.

«Макс Ферстаппен» должен указывать на одного конкретного гонщика. Реальные данные часто содержат опечатки или варианты написания имен. Две разные записи могут выглядеть достаточно похоже, чтобы нечеткое сопоставление казалось разумным. Однако нечеткое сопоставление не вызовет ошибку; оно тихо вернет неверного гонщика, что приведет к большим проблемам в будущем.

«Наибольшее» требует четкого контекста. Это относительное слово, которое не имеет реального значения, пока вы не укажете, какую метрику измеряете.

«Преимущество за счет андерката» — это ключевая метрика и специфический технический термин. Андеркат происходит, когда гонщик совершает пит-стоп раньше соперника, чтобы выиграть позицию на трассе, и это применимо только при определенных условиях. Мы определенно не хотим, чтобы языковая модель угадывала или выдумывала определение для этого. Человек должен определить его, добавить в глоссарий и пометить как официальное. Когда появляются два разных определения, это официальное одобрение подсказывает агенту, какому из них доверять.

Пять ключевых фраз и пять решений — все это было обработано людьми до того, как кто-либо ввел вопрос. Тот, кто задавал вопрос, получил ответ без необходимости вникать в эту подготовительную работу. В этом и заключается истинная ценность такого подхода.

Так кто же всем этим занимается?

Это главный вопрос, который я слышу повсюду, и он абсолютно логичен. Когда вы работаете в масштабах предприятия с тысячами таблиц, ни у кого нет времени сидеть и вручную вводить описания.

Вот почему большая часть черновой работы выполняется автоматически. Вы можете настроить простое правило курирования, например, указав, что каждая таблица в наборе данных должна иметь базовое описание наряду с вопросами, на которые она отвечает. Протестируйте его на одной таблице, подправьте промпт и примените ко всему остальному. Чтобы сделать это правильно, мы смотрим гораздо дальше простых названий таблиц. Мы проверяем, откуда поступили данные, отслеживаем их происхождение (lineage), анализируем, как люди делают к ним запросы, и извлекаем контекст непосредственно из прикрепленной документации. Огромная часть знаний компании хранится в разрозненных документах, поэтому обращение к этим источникам позволяет нам сразу извлечь основной смысл.

Мониторы качества данных работают по точно такому же принципу. Некоторые из моих правил настройки были элементарными: например, проверка того, что в каждой гонке указана корректная дата, каждое поле результата содержит данные, а продолжительность пит-стопа остается положительным числом. Простота отлично работает. Важно, чтобы правила, созданные для прошлых данных, оставались актуальными, когда в следующем сезоне поступают свежие записи.

Здесь все еще проходит четкая граница, которую я подчеркнул на сцене: агент не может нести окончательную ответственность. Автоматизированные инструменты формируют контекст, но реальный человек должен владеть им. За определением преимущества от пит-стопа закреплено конкретное имя человека, поэтому, если это определение окажется неверным, человек вмешается, чтобы исправить его, вместо того чтобы винить модель.

Что происходит, когда вы упускаете определение

Во время сессии вопросов и ответов один из слушателей задал живому агенту вопрос, к которому я не подготовился заранее: кто получил наибольшее преимущество от пит-стопов в 2024 году? Агент ответил гладко. Прежде чем ответ появился, я вслух упомянул, что все зависит от того, как вы определяете преимущество от пит-стопа, а после отметил, что нам нужно более четкое определение. Это подчеркивает реальный риск в такой настройке. Отсутствующее определение не выдаст сообщение об ошибке. Вместо этого оно сгенерирует отполированный, разумный ответ, который никто не сможет легко проверить, и это гораздо сложнее обнаружить, чем сломанный запрос.

Вот почему так важно иметь четкий канал обратной связи. Пользователи могут нажать кнопку быстрой оценки или написать отзыв, объясняющий, что конкретный расчет неверен, потому что их финансовый год начинается в феврале. Система распознает этот отзыв пользователя как возможность для обучения. Мы также отслеживаем фоновые сигналы, сравнивая активные цепочки чатов с использованием каталога. Ежедневная автоматическая проверка выделяет запросы, которые оставили пользователей без четких ответов, помечая эти пробелы непосредственно в продукте данных.

Важно отметить, что система не пытается автоматически переписывать свою базовую логику во время работы. Это сделано намеренно. Каждый выявленный пробел направляется напрямую владельцу продукта, который решает, как обновить настройки.

Просто для пользователей, детально для владельцев

Основное взаимодействие намеренно поддерживает два различных представления:

Кто-то, общающийся в Slack, видит быстрый вопрос и понятную диаграмму. В то же время владелец продукта данных видит все детали за кулисами: точный промпт, ход рассуждений модели, к каким инструментам и учетным данным был получен доступ, время обработки, стоимость токенов и используемую модель. Вы можете легко фильтровать использование по интерфейсу, что позволяет отличать случайные вопросы в Slack от пользовательских скриптов подключения или запросов через веб-браузер.

Права доступа остаются активными на всех уровнях. Это был главный пункт управления, который я затронул: будут ли пользователи видеть только те данные, на просмотр которых они уполномочены? AI-агент напрямую наследует права доступа из основного каталога⁴ и легко синхронизируется с вашей центральной системой идентификации. Фоновые инструменты остаются безопасными, поскольку они соблюдают настроенные вами правила безопасности, а не обходят их.

Поддержание качества через изменения

Последний элемент опирается на оценочные тесты, которые функционируют как модульные тесты для языковых моделей. Вы собираете коллекцию основных бизнес-вопросов с известными ответами, прогоняете их через систему и позволяете оценочной модели выставить оценку результату. Мы избегаем принудительного соответствия строгому коду, поскольку разные AI-модели приходят к точным ответам через разнообразную логику SQL. Вместо этого мы оцениваем конечный результат вместе с лежащими в его основе этапами рассуждения.

Настоящая сила заключается в отслеживании снимков состояния. Каждый запуск оценки привязывается к точной конфигурации агента и продукта данных в этот момент, включая выбор модели, системные промпты, подключенные инструменты и определенные термины. Если вы измените описание одной таблицы и заметите изменение точности, замороженные истории версий позволят легко определить, что именно изменилось.

Я показал, как это работает, во время живой презентации. Мой показатель точности упал примерно с девяноста процентов до семидесяти, и кто-то спросил почему.

Падение произошло из-за того, что я временно переключился на более быструю и легкую модель, чтобы презентация прошла быстро, и обновил некоторые тестовые вопросы. Встроенное отслеживание сразу сделало этот компромисс очевидным. Отслеживание известных изменений позволяет держать ситуацию под контролем, тогда как обнаружение падений через жалобы пользователей создает реальные проблемы.

Как сделать первый шаг

Избегайте попыток охватить всю платформу сразу. Выберите один реальный вопрос, который ваша команда задает часто, тот тип запроса, который люди пишут в чат, а затем перепроверяют вручную. Разбейте этот вопрос по фразам, выделив каждое основное допущение, необходимое для того, чтобы ответ был полностью верным. Вы быстро найдете свои ключевые решения прямо там.

Сосредоточьтесь на том, чтобы сделать эти основные допущения надежными, и позвольте всем остальным наслаждаться плавным опытом, не беспокоясь о тяжелой работе, стоящей за этим.

Хотите увидеть Alation в действии? Закажите демо сегодня.

Источники и примечания

Каждое внешнее утверждение на этой странице поддается независимой проверке. Публичные источники перечислены здесь.

• revAlation Chicago проходила в The Old Post Office, 16–17 сентября. Alation ↗https://www.alation.com/revalation/ (дата обращения: 12 октября 2026 г.)

revAlation Chicago проходила в The Old Post Office, 16–17 сентября. Alation ↗https://www.alation.com/revalation/ (дата обращения: 12 октября 2026 г.)

• Агенты Agent Studio могут быть развернуты в приложениях и рабочих процессах через MCP или REST API. Alation ↗https://www.alation.com/product/agent-studio/ (дата обращения: 12 октября 2026 г.)

Агенты Agent Studio могут быть развернуты в приложениях и рабочих процессах через MCP или REST API. Alation ↗https://www.alation.com/product/agent-studio/ (дата обращения: 12 октября 2026 г.)

• Gartner прогнозирует, что до 2026 года организации откажутся от 60% AI-проектов, не подкрепленных данными, готовыми к использованию AI. Gartner ↗ https://www.gartner.com/en/newsroom/press-releases/2025-02-26-lack-of-ai-ready-data-puts-ai-projects-at-risk

Gartner прогнозирует, что до 2026 года организации откажутся от 60% AI-проектов, не подкрепленных данными, готовыми к использованию AI. Gartner ↗

• Агенты в Agent Studio наследуют элементы управления доступом, политики и разрешения, которые организация уже использует. Alation ↗https://www.alation.com/product/agent-studio/ (дата обращения: 12 октября 2026 г.)

Агенты в Agent Studio наследуют элементы управления доступом, политики и разрешения, которые организация уже использует. Alation ↗https://www.alation.com/product/agent-studio/ (дата обращения: 12 октября 2026 г.)

• Agent Studio поддерживает встроенные оценки, наборы вопросов и ответов и пользовательских судей для проверки агентов перед запуском в эксплуатацию. Alation ↗https://www.alation.com/product/agent-studio/ (дата обращения: 12 октября 2026 г.)

Agent Studio поддерживает встроенные оценки, наборы вопросов и ответов и пользовательских судей для проверки агентов перед запуском в эксплуатацию. Alation ↗https://www.alation.com/product/agent-studio/ (дата обращения: 12 октября 2026 г.)

АТРИБУЦИЯ АНАЛИТИКОВ И ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ

Gartner, «Отсутствие данных, готовых к AI, ставит под угрозу AI-проекты» (вопросы и ответы с Роксаной Эдлали), 26 февраля 2025 г.

Gartner не поддерживает ни одного поставщика, продукт или услугу, описанные в своих исследовательских публикациях, и не рекомендует пользователям технологий выбирать только тех поставщиков, которые имеют наивысшие рейтинги или другие обозначения. Исследовательские публикации Gartner отражают мнение исследовательской организации Gartner и не должны рассматриваться как констатация фактов. Gartner отказывается от всех гарантий, явных или подразумеваемых, в отношении данного исследования, включая любые гарантии товарной пригодности или соответствия определенной цели. GARTNER и Magic Quadrant являются зарегистрированными товарными знаками и знаками обслуживания компании Gartner, Inc. и/или ее аффилированных лиц в США и других странах и используются здесь с разрешения. Все права защищены.