Сколько активных клиентов у вашей компании? Открывая вебинар DataArt «Раскрытие семантического контекста для агентных продуктов данных», модератор Олег Ройз, руководитель направления Data and AI Solution Consulting в DataArt, предупредил, что это, вероятно, тот самый вопрос, на котором ваш ИИ-агент ошибется.

Соберите пять человек в одной комнате, и вы получите пять разных ответов. Финансовый отдел считает клиентов, которым выставили счета. Отдел продаж считает аккаунты, с которыми ведутся переговоры. Маркетинг считает всех, кто открыл электронное письмо. Продукт считает недавние входы в систему. Отдел по работе с клиентами добавит, что Дэйв из Acme не заходил в систему полгода, но они разговаривали с ним во вторник. Проблема в том, что никто не записал, какой ответ относится к какому вопросу и для какой аудитории.

На этой сессии, первой в серии вебинаров DataArt о становлении агентного предприятия, выступили Пол Макдональд, главный консультант по решениям в области данных, и Алексей Уткин, руководитель лаборатории данных и аналитики DataArt. Тезис Ройза: по опыту команды, агентные программы буксуют на одном и том же месте. Агент не понимает, что бизнес подразумевает под своими собственными терминами.

Когда агенты устраняют дискуссию, они устраняют контроль

Компании десятилетиями существовали с неверными цифрами, так почему стоит беспокоиться сейчас? Макдональд ответил историей. Кто-то включает 742 активных клиента в отчет для совета директоров. Финансы говорят, что цифра выглядит неверно. Маркетинг утверждает, что их больше тысячи. Через двадцать минут никто уже не обсуждает слайд.

Эта дискуссия была формой контроля. Агент устраняет дискуссию. Он сообщает цифру 742 с полной уверенностью, и следующий агент в цепочке начинает действовать на ее основе. Ошибка та же, но масштаб и скорость обработки данных гораздо выше.

Уткин добавил вторую потерю. Раньше за каждой цифрой стоял человек, специалист по данным, которому мог позвонить бизнес-пользователь. Агенты убирают этого человека из цепочки, поэтому сбои становятся незаметными. А люди прощают людей охотнее, чем машины: бизнес, получающий неверные ответы от агента, теряет доверие, и вернуть его обратно сложно.

Более совершенная модель не решит проблему. Макдональд отметил, что показатели text-to-SQL за три года выросли вдвое до 64,5% по бенчмарку dbt, но неверные ответы по-прежнему выглядят как правильные. При работе с «сырыми» таблицами агент дает верные ответы примерно в половине случаев. Если определения зафиксированы и закреплены за владельцами, точность, по отчетам ранних последователей, возрастает до 85–98% на той же модели.

Семантический контекст — это знания о вашем бизнесе, и ни один вендор не поставляет их в комплекте

У большинства предприятий уже есть семантическая модель Power BI, каталог и уровни данных bronze, silver и gold. Опрос в прямом эфире во время вебинара показал, насколько свободно используется этот термин: ответы варьировались от моделей BI до золотого уровня и бизнес-глоссария. Все это было создано для людей, причем каждая группа работала в своем «углу», отметил Уткин. У агента нет своего угла. Когда его спрашивают об активных клиентах, он ищет везде, находит три определения «активности» и выбирает одно, не уточняя, какое именно.

Более сложная проблема — это смыслы, которые не были зафиксированы ни в одной системе. Финансовый год начинается в феврале. Эта таблица не сравнивается во время миграции. Подобные знания живут в чатах, тикетах Jira, вики-страницах и головах сотрудников. Компания Booking.com рассказала на Snowflake Summit, что у них есть четырнадцать версий одной таблицы бронирований, и все они называются одинаково.

Агентам нужно больше, чем просто общие определения метрик: им нужны связи, бизнес-правила, инструкции, границы доменов и критерии валидации, потому что машина не может ответить «это зависит от обстоятельств». Макдональд четко провел различие:

«Семантический слой говорит вам, как что-то вычислить. Семантический контекст говорит агенту, что вещи означают, каковы правила и что можно делать с полученными ответами. Первое — это технический артефакт, а второе — организационный актив».

— Пол Макдональд, главный консультант по решениям в области данных, DataArt

Отвечая на вопрос об онтологиях во время сессии Q&A, Уткин назвал семантический контекст зонтичным термином. В отраслях с публичными онтологиями, таких как фармацевтика и финансы, он может принимать форму графа знаний; более простые домены могут полагаться на инструкции и представления метрик.

Бизнес владеет смыслами, а команда данных их кодирует

Кто владеет определением «активного клиента»? Макдональд исключил команду данных, которой обычно передают эту задачу просто потому, что они оказались в комнате. Команды данных — это хранители; смысл принадлежит бизнесу, и кому-то нужны полномочия для разрешения споров. Компания Southern Glazer’s рассказала на саммите Databricks Data + AI, что они сократили более 20 000 отчетов до примерно 600 метрик, у каждой из которых есть назначенный владелец. Записать определения — это легкая часть, сказал Макдональд; самое сложное — сделать их обязательными.

Владение не означает навязывание одной цифры. Подписчик, который отменился вчера, имея 29 оплаченных дней, для финансов является активным, для маркетинга — «возможно», а для отдела удержания — безусловно активным. Задача состоит в том, чтобы зафиксировать, какое определение применяется в каком домене, чтобы агенту никогда не приходилось выбирать.

Первая версия для одного домена занимает около квартала работы небольшой команды, состоящей как из бизнес-специалистов, так и из технических экспертов. Отсутствие определения заставляет агента остановиться, предупредил Макдональд, а устаревшее определение заставляет его убедительно лгать. Контекст Mastercard, созданный с помощью Atlan, должен содержать пометку «Европа в отпуске в третьем квартале».

По поводу привязки к вендору (lock-in) Макдональд возразил: разве перенос определений из BI в Snowflake — это не та же самая привязка, просто на уровень выше? Ответ Уткина: храните определения в открытых форматах, следуйте стандартам, таким как Open Semantic Interchange, и генерируйте из них версии для конкретных платформ.

Девяносто пять процентов точности — это ежедневная привычка

Ройз задал следующий вопрос: «Сколько активных клиентов у нас было в Европе в прошлом квартале?» При работе с «сырыми» таблицами агент гадает, означает ли «Европа» регион продаж или адрес выставления счета. Согласованные определения метрик не дают ему выдумывать математику. Бизнес-словарь и набор одобренных бизнесом ответов продвигают его еще дальше.

Лучшие команды, приближающиеся к 95% точности, добавляют операционный слой и перетестируют агентов на реальных вопросах каждую ночь. Если ответ по Европе в понедельник оказывается неверным, потому что клиент перенес головной офис из Лондона в Сингапур и был учтен в обоих регионах, команда видит это и исправляет. Когда маркетинг переопределяет «активность» с 30 дней на 60, изменение вносится в одном месте, и каждый агент подхватывает его.

Как только важные для домена вопросы начинают получать верные ответы и, что еще важнее, вы научили агента отказываться от вопросов, на которые он не может ответить, — это и приводит вас к 95% точности. После этого нужно продолжать мониторинг, потому что модели, данные и семантический контекст постоянно меняются.

Алексей Уткин

Руководитель лаборатории данных и аналитики, DataArt

Ограждающие механизмы (guardrails) следуют логике найма новых сотрудников. Решите, что агент может видеть и делать, до того как он получит доступ, посоветовал Макдональд, а не во время разбора инцидента, когда кто-то спросит, кто одобрил закупку 14 000 ноутбуков.

Начните с цифры, о которой ваша организация уже спорит

Читая второй опрос о том, что сдерживает команды, Ройз увидел ту же закономерность: самые сложные барьеры — это люди и культура, а не технологии. Это и определяет отправную точку:

Сначала найдите «боль». Спросите у финансового и отдела продаж выручку за прошлый месяц, затем уточните, кто считается «клиентом», а кто — «активным клиентом». Первая цифра, которая заставит кого-то спросить: «Откуда это взялось?», и станет вашей отправной точкой.
Начните с одной области. Команды, которые доходят до этапа эксплуатации, начинают с основных таблиц и вопросов, которые действительно влияют на результат, предоставляя агентам минимальный контекст, необходимый для ответов на эти вопросы.
Проведите тест на готовность. Спросите своих сотрудников, что они считают активным клиентом. Когда они придут к согласию, а агент будет отвечать так же, вы близки к запуску в эксплуатацию.
Заложите бюджет на программу. Ройз выделил три ключевых ресурса: люди, которые знают бизнес достаточно хорошо, чтобы описать его; инженеры, способные работать с быстро меняющимися инструментами; и способ поддерживать работу системы на постоянной основе.

Заключительный тезис Макдональда:

Кто-то должен написать руководство по адаптации. И люди, которые знают, что в него включить, уже работают в вашей компании. Ни один поставщик не предоставит это в готовом виде. Именно поэтому процесс вызывает дискомфорт, и именно поэтому он становится вашим конкурентным преимуществом, как только вы его завершите.

Пол Макдональд

Главный консультант по решениям в области данных, DataArt