Командам по работе с данными постоянно задают одни и те же вопросы: «какими будут продажи в следующем квартале?», «почему изменился этот показатель?» и «выходят ли эти недавние данные за рамки того, что мы обычно наблюдаем?». Ответы на эти сложные аналитические вопросы обычно требуют привлечения команды специалистов по Data Science для построения моделей и управления инфраструктурой. Это создает узкое место: бизнес-пользователи вынуждены стоять в очереди, и многие вопросы так и остаются без ответов.
Функции Predictive AI Functions, доступные сейчас в режиме Beta, устраняют это узкое место, позволяя аналитикам и бизнес-пользователям выполнять сложную аналитику, такую как прогнозирование, анализ драйверов и обнаружение аномалий, с помощью встроенных функций на базе передовых моделей машинного обучения. Эти нативные функции SQL можно вызывать напрямую в SQL, запускать в Genie с помощью обычных текстовых запросов или встраивать в дашборды. Поскольку Databricks централизованно обслуживает эти модели, команды получают качественные и стабильные результаты без необходимости создавать инфраструктуру или управлять ею.
Этот запуск добавляет четыре новые нативные функции SQL и повышает точность ai_forecast:
- ai_forecast: проецирование временного ряда в будущее
- ai_top_drivers: определение сегментов, которые сильнее всего повлияли на изменение показателя
- ai_detect_anomalies: выделение аномальных строк во временных данных
- ai_predict_value: прогнозирование непрерывных значений (регрессия)
- ai_predict_class: прогнозирование категориальных значений (классификация)
Чтобы продемонстрировать, как эти функции можно использовать в различных компонентах Databricks, мы рассмотрим примеры в дашбордах, SQL и Genie на основе набора данных о поездках на такси в Нью-Йорке.
Достоверные прогнозы в дашбордах
Дашборды — это место, где команды отслеживают метрики, управляющие их бизнесом, и часто обращаются к ним, чтобы узнать, куда эти метрики направляются дальше. С помощью ai_forecast команды могут проецировать показатели и выводить эти прогнозы вместе с остальной отчетностью.
Новая функция ai_forecast позволяет легко получать качественные прогнозы без какой-либо настройки. Она работает на базе фундаментальной модели временных рядов на основе трансформеров, предварительно обученной на огромной и разнообразной коллекции временных рядов — так же, как большая языковая модель обучается на текстах. Поскольку она уже распознает общие паттерны, такие как сезонность и тренды, она выдает точные прогнозы по вашим данным без необходимости настройки.
В визуализации ниже функция ai_forecast используется для прогнозирования месячного объема поездок в наборе данных о такси Нью-Йорка до конца 2027 года. Прогноз раскрывает ожидаемые сезонные закономерности в спросе на такси, предоставляя основанное на данных представление о том, куда движется пассажиропоток.
Новая функция ai_forecast не только автоматически обрабатывает общие паттерны, но и предлагает функции, позволяющие добавлять специфические для бизнеса факторы. Благодаря встроенной поддержке праздников команды могут автоматически учитывать такие локальные события, как спад на Рождество и всплески в период школьных каникул. Команды также могут указывать внешние ковариаты, передавая факторы, влияющие на метрику (например, изменения цен или расходы на маркетинг), чтобы прогнозы точнее отражали специфику их бизнеса.
Мощные прогнозы на естественном языке
Этот запуск также представляет четыре новые функции для решения ad-hoc задач углубленной аналитики, с которыми часто сталкиваются команды по работе с данными.
- ai_top_drivers объясняет, почему изменилась метрика
- ai_detect_anomalies помечает аномальные значения
- ai_predict_value и ai_predict_class заполняют пропущенные значения путем оценки числа или назначения категории.
Каждая из них, как и ai_forecast, представляет собой нативную функцию SQL. Аналитики могут вызывать их напрямую в SQL-редакторе или блокноте, запускать на сотнях миллионов строк и передавать результаты в свои запросы и конвейеры наряду с остальной работой. По сравнению с разработкой пользовательских моделей для реализации аналогичной функциональности это сокращает время разработки и повышает доступность для большего числа пользователей.
Например, приведенный ниже запрос агрегирует данные о поездках на такси в Нью-Йорке во временной ряд дневной выручки и передает его в ai_detect_anomalies, которая автоматически настраивает модель на данные и помечает необычные дни.
Эти же функции будут доступны бизнес-пользователям через Genie (ai_top_drivers доступна уже сегодня, а ai_forecast, ai_detect_anomalies, ai_predict_value и ai_predict_class появятся в ближайшее время). Любой пользователь может задать вопрос на обычном языке — например, почему выручка упала в прошлом квартале или какие клиенты с наибольшей вероятностью уйдут от вас, — и Genie вызовет нужную функцию, чтобы вернуть обоснованный ответ на базе модели, не требуя опыта работы с SQL или ML.
Приведенный ниже запрос использует ai_top_drivers для автоматического определения того, какие сегменты времени суток, будней или выходных внесли наибольший вклад в изменение выручки от тарифов на такси в Нью-Йорке в период с января по февраль 2016 года. Он ранжирует каждый сегмент по его абсолютному и относительному влиянию на выручку, показывая, что наибольший прирост обеспечили дневные часы будних дней, в то время как вечерний час пик в будни стал главным фактором снижения.
Поскольку эти функции используют специализированные методы машинного обучения, они позволяют Genie отвечать на вопросы, с которыми универсальная языковая модель (LLM) не может надежно справиться самостоятельно.
Лучшее в отрасли качество
Все эти функции обеспечивают высококачественные прогнозы на базе моделей машинного обучения промышленного уровня. Поскольку Databricks централизованно поддерживает эти модели, их качество остается стабильным на любых поверхностях, поэтому команды получают одинаковый достоверный результат независимо от того, выполняется ли прогноз в дашборде, в SQL или через Genie.
Ярче всего это демонстрирует прогнозирование. Мы использовали fev-bench для сравнения новой функции ai_forecast с функциями ведущего облачного хранилища данных. Коэффициент успешности задач определяется как процент задач (измеряемых по масштабированным квантильным потерям), в которых одна система демонстрирует меньшую вероятностную ошибку, чем другая. Вот как соотносятся эти варианты:
ai_forecast превосходит как другие облачные хранилища данных, так и предыдущую версию ai_forecast. С Predictive AI Functions команды получают лучшую в отрасли точность «из коробки» на любой поверхности и без необходимости настройки.
Начните работу сегодня
Функции Predictive AI Functions превращают вопросы, для решения которых раньше требовалась команда по Data Science (например, что будет дальше, почему это изменилось, что пошло не так и какова ценность), в ответы, которые бизнес-команды могут получать самостоятельно прямо там, где они уже работают: в дашбордах, в Genie и в SQL. Результатом является углубленная аналитика для каждого: качественные прогнозы, которые просты в использовании и не требуют создания моделей или управления инфраструктурой.
Готовы попробовать? Начните работу с Predictive AI Functions здесь.
