За последние три недели наша команда исследователей передовой линии (FDR) выполнила дообучение недавно выпущенной модели NVIDIA Nemotron 3.5 Super VL в партнерстве с Gong, Deel и Alice, чтобы создать специализированные модели, которые превосходят передовые решения или не уступают им по качеству в заданных сценариях использования, но стоят при этом значительно дешевле.
Поскольку компании все чаще стремятся обладать специализированным интеллектом, а не арендовать общие модели, предложение Lab-as-a-Service от AI21 и собственная платформа обучения Harness и Model позволяют осуществить этот переход за считанные недели, а не кварталы.
Мотивация прекратить аренду и начать владеть собственным интеллектом различается в зависимости от компании. Для одних это стоимость, для других — контроль над своими данными или уникальное конкурентное преимущество. Выступая в роли партнеров по обучению, наши специалисты FDR тщательно разрабатывают рецепты дообучения и пользовательские оценки для достижения целей клиентов.
В этой статье рассматриваются влияние на бизнес и дифференциация, которые обеспечиваются дообучением суверенного специализированного интеллекта, а также методы, использованные нашими специалистами FDR для достижения этих результатов.
Открытая основа для специализированного интеллекта
— это открытая мультимодальная модель для долгосрочных агентов, которым необходимо видеть, рассуждать и действовать. Созданная для высокоточной агентской реализации, она предназначена для дообучения на собственных данных, инструментах и политиках организации.
Цель дообучения: снижение затрат без ущерба для качества
Обзор сценария использования
Ведущая AI-компания в сфере доходов Gong разработала агента Gong Data Extractor, который анализирует взаимодействия с клиентами (такие как звонки, электронные письма и веб-конференции) для выявления ключевой информации о сделках и учетных записях, критически важной для коммерческих отделов. Система сохраняет эти данные в виде полей, которые автоматически обновляются по мере поступления новой информации и могут синхронизироваться с записями CRM клиента: от стадии сделки до показателей эффективности.
Передовые модели отлично справляются с суммированием сделок. Однако при объемах, с которыми работает Gong (обработка десятков миллионов взаимодействий в месяц), затраты быстро накапливаются. До сих пор ни одна более дешевая модель не могла сравняться с передовым качеством в этом сценарии использования, а компромисс с качеством клиентских записей был исключен.
Методы
Команда FDR компании AI21 сотрудничала с Gong для дообучения Nemotron 3.5 Super до уровня качества, требуемого для столь ответственного сценария использования, но со всеми преимуществами затрат эффективной открытой модели. Всего за две недели команды создали уникальный набор тренировочных данных, внедрили комбинацию методов обучения SFT и DPO, а также построили необходимую инфраструктуру оценки для контроля качества правок в CRM, дополнив ее специальными слоями оценки для метрик высокого риска.
Результаты
После дообучения модели NVIDIA Nemotron 3.5 Super собственные оценки Gong показали, что специализированная модель не уступает современным передовым моделям, таким как Claude Opus 5.5, по скорости и точности, обходясь при этом значительно дешевле.
Специализированная модель № 2: Повышение точности модели контроля качества расчета заработной платы Deel на 8% выше уровня передовых моделей при снижении стоимости в 33 раза
Цель дообучения: укрепление проприетарного преимущества, недоступного для передовых моделей
Обзор сценария использования
Deel, глобальная кадровая и расчетная платформа, обслуживает более 40 000 компаний в более чем 150 странах, отвечая на вопросы по расчету заработной платы, охватывающие множество стран и юрисдикций. Правильный ответ зависит от местных налоговых правил, трудовых договоров и политик компании, причем все три фактора регулярно меняются. Передовые модели знают большинство этих правил по отдельности, но часто упускают часть ответа. Однако в расчете заработной платы частичный ответ означает неверный ответ. Deel хотела получить открытую модель, которая дает полный ответ без дополнительных подсказок, при минимальных затратах по сравнению с передовыми решениями.
Методы
Для этой задачи команда AI21 FDR опиралась на проверенные экспертами тренировочные данные и бенчмарки от Emet by Deel — передовой лаборатории оценки ИИ, которая создает бенчмарки и созданные экспертами обучающие данные. Опираясь на эту базу, команда AI21 FDR с помощью предварительного тестирования сначала определила, что Nemotron 3.5 Super обладает необходимыми знаниями для ответов на большинство вопросов и может выиграть от адаптации поведения модели под ожидаемый уровень детализации и стиль. Чтобы заложить нужное поведение в веса модели, команда FDR использовала двухэтапный процесс обучения: сначала SFT на отфильтрованных сгенерированных вариантах, а затем SDPO (самодистилляционная оптимизация политики), в рамках которой учительная модель получала контекст благодаря детализированным инструкциям по желаемому поведению.
Результаты
В результате усилий AI21 по дообучению Nemotron 3.5 Super VL точность ответов выросла до 72% на бенчмарке Emet для расчета заработной платы по 8 странам, что на 8 пунктов выше, чем у Claude Opus 5.5, при стоимости одного запроса в 33 раза ниже.
Специализированная модель № 3: Обучение Nemotron 3.5 Super с использованием сред обучения с подкреплением (RL) от компании Alice для повышения устойчивости к атакам на 41 пункт
Цель дообучения: сохранение строгого контроля над корпоративными данными
Обзор сценария использования
Alice, компания, занимающаяся вопросами безопасности и защиты ИИ, создает среды RL, в которых клиенты могут обучать рабочие агенты для борьбы с угрозами безопасности на реальных программных платформах, где они работают. Клиенты RL Environments используют датасет Alice «Rabbit Hole», сформированный на основе реальной информации о поведении субъектов угроз, а также отзывов более 150 штатных исследователей безопасности и экспертов сетевого сообщества. Теперь этот арсенал дополнен дообученной моделью, настроенной на обнаружение косвенных атак с внедрением подсказок (prompt injection) как в Slack, так и в Github.
Методы
Работая в тесном сотрудничестве с Alice, наша команда FDR начала с оценки Nemotron 3.5 Super в их среде RL. Для улучшения первоначальных результатов модели и увеличения разнообразия ответов команда FDR сначала применила методы обучения SFT и DPO. Затем, когда обученная модель продемонстрировала достаточную начальную производительность и разнообразие, команда внедрила обучение GRPO (онлайн-обучение с подкреплением) для дальнейшего улучшения результатов.
Результаты
Совместно AI21 и Alice повысили устойчивость Nemotron 3.5 Super к атакам на 41 пункт без ущерба для общей производительности задач, превзойдя такие передовые модели, как GPT-6.1 Sol. Подробнее о сотрудничестве читайте в [блоге] компании Alice.
Прокладывая путь к независимости в сфере ИИ
Три описанных выше сценария охватывают широкий спектр корпоративных задач — от суммаризации и извлечения информации до обеспечения устойчивости к атакам. Что объединяет эти задачи, так это повторяющаяся нагрузка в виде миллионов запросов в месяц и жесткие стандарты правильности, которым передовые модели не всегда могут соответствовать.
Дообучение Nemotron 3.5 Super на нашей платформе обучения Harness и Model под руководством нашей команды FDR позволило перевести все три задачи от базовой оценки к специализированному интеллекту всего за три недели, снизив затраты, обеспечив конкурентное преимущество, которое невозможно взять в аренду, и предоставив полный контроль над поведением агентов.
Если вы готовы сделать шаг на пути к независимости в сфере ИИ, свяжитесь с нами.
