Система Text-to-Formula (TTF) компании FactSet выполняет обманчиво сложную задачу: преобразует запрос на естественном языке от инвестиционного специалиста в правильную формулу FactSet Query Language (FQL).
Изначально компания FactSet создала TTF на базе генерации с дополненным извлечением (RAG), используя поиск для нахождения релевантных примеров и информации под конкретный запрос. Но по мере роста потребления запросы становились более специализированными, а формулы — более сложными, и этот подход уперся в потолок качества. Компания FactSet начала внедрять дообученные открытые модели в свою составную архитектуру ИИ (Compound AI), что позволило команде обучать модели на структуре и паттернах FQL, а не полагаться преимущественно на извлечение во время инференса. На ранних этапах работы над TTF компания FactSet обнаружила, что внедрение дообученных моделей снижает сквозную задержку (latency) примерно на 60%.
По мере эволюции системы менялась и роль дообучения. Компания FactSet накопила больше тренировочных данных и начала регулярно обновлять свои модели, превратив то, что было экспериментальным рабочим процессом, в повторяющуюся часть разработки TTF. Сегодня команда дообучает модели примерно каждые две-три недели.
Когда дообучение становится частью цикла релизов
Обучение каждые несколько недель меняет требования к инфраструктуре. Подготовка среды и настройка GPU-вычислений могут быть посильной задачей для редкого эксперимента. Повторение этой работы каждый раз, когда готовы новые данные или новая модель для тестирования, добавляет накладные расходы непосредственно в цикл разработки.
Требования к моделям также могут меняться от одного эксперимента к другому. Компания FactSet работала с моделями на базе Llama и продолжает оценивать более новые открытые модели. Различные модели, длины промптов и характеристики вывода могут требовать разных конфигураций вычислений, поэтому привязка среды обучения к фиксированной настройке GPU затруднила бы адаптацию по мере экспериментов команды.
FactSet использует Databricks AI Runtime для запуска этих задач дообучения на бессерверной GPU-инфраструктуре. Инженеры могут выбирать вычисления на основе требований конкретного запуска обучения без предварительного выделения и настройки базовой GPU-среды.
Сохранение обучения в цикле разработки
Рабочий процесс обучения TTF также соседствует с данными, экспериментами, управлением моделями и средствами контроля (governance), которые уже работают на Databricks. FactSet использует MLflow для отслеживания разработки моделей и экспериментов, в то время как ее базовые данные остаются под управлением в существующей среде Lakehouse.
Запуск дообучения с помощью AI Runtime удерживает обучение на GPU внутри этого рабочего процесса. Инженеры могут работать с управляемыми данными, обучать новую модель, отслеживать полученные артефакты и переходить к развертыванию без поддержки отдельного GPU-стека для дообучения. Для FactSet это сократило время, необходимое для настройки, обучения и развертывания кастомной модели TTF, с дней до часов.
Databricks AI Runtime значительно оптимизировал процесс обучения кастомной модели Text To Formula (TTF). Благодаря отсутствию необходимости настраивать инфраструктуру или задержек, было легко выбрать подходящие вычислительные мощности в зависимости от размера промпта и генерации выходных токенов. Это позволило нам двигаться быстро, поддерживать наши рабочие процессы Lakehouse и предоставлять высококачественную модель с полным контролем, сократив время на настройку, обучение и развертывание нашей модели с дней до часов. — Нихил Сундеррадж (Nikhil Sunderraj), главный инженер по машинному обучению, FactSet Research Systems, Inc.
Создание решений для моделей, которые продолжают меняться
Возможность менять модели была частью эволюции TTF с самого начала. Передовой подход RAG, особенно полная зависимость от моделей внешнего хостинга, становится узким местом для стабильной точности и задержки по мере роста потребления и усложнения формул. RAG работал до тех пор, пока система не столкнулась с более сложными формулами. Дообученные открытые модели дали FactSet еще один способ улучшить качество и задержку. Теперь, по мере появления новых моделей, команда может оценивать их на соответствие рабочей нагрузке, а не относиться к своему текущему выбору модели как к чему-то постоянному.
Сама система TTF становится все более специализированной. По мере накопления данных FactSet команда изучает возможности дополнительных дообученных моделей для таких задач, как декомпозиция запросов, извлечение компонентов и определение библиотек. Это создает больше возможностей для использования модели, наиболее подходящей для каждой части рабочего процесса, но также делает быстрое и повторяемое обучение более важным.
Изменение модели гораздо проще тестировать, когда для этого не требуется перестраивать вокруг нее среду обучения. Благодаря GPU-вычислениям, доступным по запросу через AI Runtime, инженерная работа смещается в сторону вопросов, которые действительно влияют на TTF: какую модель использовать, как ее обучить и улучшает ли полученная версия приложение.
Кроме того, конвейер дообучения был построен на базе Databricks Lakeflow Jobs and Pipelines как готовый к использованию, многоразовый фреймворк, разработанный для легкого внедрения в различных задачах TTF и в других командах с минимальными усилиями по настройке, что обеспечивает стандартизированную основу, которая снижает сложность адаптации и ускоряет интеграцию.
Практичный выбор моделей
Открытые модели развиваются быстро. Модель, которая сегодня предлагает правильный баланс качества, задержки и стоимости, может оказаться не той, которую команда захочет использовать через шесть месяцев. Следовательно, сохранение возможности выбора модели требует большего, чем просто способность скачать новый набор весов. Сопутствующий рабочий процесс обучения и развертывания должен успевать за этим.
Опыт FactSet с TTF показывает, как это выглядит в продакшене. Команда может продолжать тестирование новых открытых моделей по мере развития своих данных и приложения, в то время как AI Runtime предоставляет бессерверную GPU-инфраструктуру в рамках существующих рабочих процессов Databricks. Вместо того чтобы тратить дни на настройку, обучение и развертывание каждой итерации, FactSet может завершить этот цикл за считанные часы.
Для системы, которая переобучается каждые несколько недель, эта разница накапливается. Новые данные могут быстрее поступать в новую модель, и инженеры могут тратить больше времени каждой итерации на улучшение TTF, а не на подготовку инфраструктуры, необходимой для ее обучения.
