Предоставление каждому отделу специалиста по обработке данных с помощью Grok Bot

В SpaceXSI наша команда специалистов по данным работает со всей компанией, помогая отделам находить ответы на сложные вопросы и открывая новые способы интеграции данных в наши продукты. Со временем мы выработали интуитивное понимание наших данных, включая то, как их интерпретировать и где находятся их ограничения.

Но наша небольшая команда не может ответить на каждый вопрос, возникающий в быстро растущей компании. В течение дня к нам обращаются люди с вопросами, которые могут быть простыми, но все равно требуют нашей экспертизы для получения точного ответа. Это легко может сделать нас узким местом.

Несколько месяцев назад мы начали изучать то, как агенты ИИ могут изменить эти отношения. Мы хотели предоставить каждому специалиста по данным, доступного круглосуточно, который мог бы опираться на наши коллективные знания, одновременно перенаправив больше наших собственных усилий на создание и улучшение этого ИИ-коллеги.

Мы создали Data Bot — бота для команды в Grok Bot, которого мы обучили тому, как работает наша команда по работе с данными. Он может делать запросы к нашему хранилищу, проводить аналитику и возвращать результаты в том виде, который предпочитает каждый конкретный пользователь. В отличие от личных ботов, которые зависят от знаний своих владельцев при обучении, Data Bot опирается на общий набор навыков, которые наша команда по данным поддерживает и совершенствует для всех.

Команды также могут добавлять Data Bot в свои каналы в Slack, где он отвечает на вопросы и активно участвует в текущей работе. По мере того как мы улучшаем его навыки, все выигрывают от одного и того же растущего массива экспертизы.

Обучение Data Bot тому, как работает команда данных

Data Bot необходим достаточный контекст, чтобы подходить к вопросу так, как это сделала бы наша команда. Мы предоставляем этот контекст с помощью навыков, которые охватывают следующие основные области:

• Метрики и анализ. Мы определяем наши ключевые метрики для всего бизнеса, такие как активные пользователи и выручка, а также определяем исходные таблицы и логику запросов, лежащие в их основе. Навыки также помогают Data Bot исследовать изменения в этих метриках — от детализации всплеска или падения по сегментам или регионам до проверки праздников или изменений в логировании перед тем, как связать это с изменением продукта.
• Эксперименты. Они охватывают то, как мы настраиваем А/Б-тесты, проводим расчеты мощности, проверяем баланс экспозиции и смещение выборки, планируем запуски, глубоко погружаемся в неинтуитивные результаты и составляем отчеты после того, как эксперименты достигают необходимой мощности.
• Графики и дашборды. Мы наделяем Data Bot передовыми методами визуализации данных, такими как использование линейных графиков для динамики во времени и горизонтальных гистограмм для сравнения категорий, а также темами графиков и руководствами по стилю нашей команды. Другие навыки направляют Data Bot в создании дашбордов, чтобы он мог превратить график в чате в дашборд Databricks или Hex, которым может пользоваться вся команда.
• Инженерия данных. Они охватывают наши лучшие практики написания и рецензирования моделей dbt, наши соглашения об автоматических оповещениях конвейера и способы добавления логирования аналитических событий, чтобы мы могли измерять то, как люди используют новые функции с момента их запуска.

Data Bot учится на опыте

Мы также предоставляем Data Bot общую память, чтобы он мог сохранять знания, возникающие в ходе повседневного использования. Например, он может узнать, какому коллеге принадлежит конкретный конвейер или что предыдущее падение важной метрики оказалось связано с региональным праздником. В следующий раз, когда он будет исследовать аналогичное изменение, он сможет опереться на этот опыт и проверить календарь праздников, прежде чем приписывать падение изменениям продукта.

Как менеджеры бота команды, мы можем просматривать эти предлагаемые дополнения к его памяти и одобрять или отклонять их до того, как Data Bot поделится этими знаниями со всеми, кто его использует.

Помощь продакт-менеджерам в лучшем понимании их продуктов

У продакт-менеджеров есть постоянный поток вопросов о том, как люди используют их продукты, многие из которых выходят за рамки того, что могут показать их существующие дашборды. Ответы на эти вопросы традиционно означали самостоятельное погружение в данные или обращение за помощью к кому-то из команды данных.

Data Bot дает продакт-менеджерам возможность исследовать эти вопросы по мере их возникновения.

Кевин Нипарко, продакт-менеджер в SpaceXSI, может написать ему в Grok Bot так же, как коллеге, получить ответ за считанные минуты и продолжить обсуждение без запуска нового анализа. Он описывает этот опыт как наличие специалиста по данным в своем кармане.

Простота вопросов означает, что продакт-менеджеры могут исследовать гораздо больше вопросов в течение дня. Раньше даже открытие дашборда или запуск анализа в Cursor создавали достаточные трудности, чтобы отбить охоту задавать некоторые вопросы. Теперь Кевин может исследовать вещи, которые в противном случае мог бы отпустить, не обращаясь за помощью к специалисту по данным.

Data Bot также подстраивается под то, как люди предпочитают воспринимать информацию. Кевину нравится лаконичный заголовок в сопровождении графика, поэтому Data Bot представляет свои выводы в таком формате, позволяя ему быстро перейти от вопроса к применимому ответу.

Помощь маркетологам в понимании результатов их кампаний

Маркетинговым командам необходимо понимать, что делают клиенты после получения кампании. Почтовые платформы отслеживают открытия и клики, но эти метрики не всегда показывают, достигла ли кампания своей цели.

Джон Бреннер, занимающийся жизненным циклом маркетинга в SpaceXSI, использует Data Bot в качестве дежурного аналитика. Он может передать ему идентификатор кампании Braze и спросить, что получатели сделали после этого. Data Bot делает запрос к хранилищу, чтобы узнать, продолжили ли те, кто кликнул, использовать функцию.

Для нашего недавнего запуска подписки The X Subscription Джон хотел узнать, сколько получателей электронной почты действительно сменили тарифный план. Встроенная метрика конверсии Braze не могла ответить на этот вопрос, поэтому Data Bot сделал запрос к хранилищу, чтобы отследить, сколько получателей получили письмо и сколько в итоге сменили тариф.

Кэти Аббасзаде, наш директор по росту выручки, использует Data Bot для измерения влияния мероприятий на продажи. Она отслеживает, как мероприятия способствуют генерации потенциальных клиентов и помогают ускорять существующие сделки. Она также использует Data Bot для мониторинга еженедельного прогресса в достижении целей, изучения того, что может замедлять прогресс, и преобразования результатов в графики для презентаций.

С помощью Data Bot наша маркетинговая команда теперь может самостоятельно отвечать на большее число вопросов, не дожидаясь команды по данным, и при этом опираться на экспертизу этой команды.

Предоставление Data Bot возможности обрабатывать полные аналитические рабочие процессы

Data Bot может брать на себя работу, которая выходит далеко за рамки ответов на отдельные вопросы. Команда данных предоставила ему инструменты для проведения более существенных аналитических исследований, включая проекты, которые обычно требуют нескольких раундов сотрудничества со специалистом по данным.

Например, продакт-менеджер, исследующий изменение в принятии продуктов, может попросить Data Bot разобраться, что произошло. Data Bot может спланировать анализ, сделать запрос к хранилищу и изучить возможные объяснения. Затем он может подготовить письменный отчет с графиками или создать дашборд в Hex, которым команда сможет продолжить пользоваться.

Data Bot присоединяется к каналам команд и активно участвует в работе

Команды могут добавлять Data Bot в свои каналы в Slack и возлагать на него ответственность за регулярную отчетность. Например, команда может попросить его отслеживать важную метрику и публиковать еженедельные обновления, следуя стандартам отчетности, установленным нашей командой специалистов по данным.

Data Bot может запускать этот рабочий процесс по расписанию и напрямую отправлять обновления в групповой чат. После этого коллеги могут задавать уточняющие вопросы или поручить ему изучить неожиданные изменения — точно так же, как если бы они общались с живым членом команды.

Экспертиза в области науки о данных для каждого

Внедрение Data Bot стремительно растет в SpaceXSI. По нашим оценкам, только за последнюю неделю он выполнил около 70 часов работы, которая в противном случае легла бы на плечи команды специалистов по данным.

Мы по-прежнему выполняем сложные аналитические задачи, требующие большего участия, и попутно выявляем области, где Data Bot нуждается в дополнительных инструкциях. наша цель — предоставить коллегам по всей компании ИИ-помощника, который сможет опираться на нашу экспертизу в любой момент, когда это необходимо, и одновременно освободить время команды Data Science для решения вопросов, требующих нашего непосредственного внимания.