Как Atos использует Red Hat AI для создания меньших, специализированных моделей для суверенного ИИ

Источник: Red Hat•

Как Atos использует Red Hat AI для создания меньших, специализированных моделей для суверенного ИИ

Узнайте, как Atos использует Red Hat AI для точной настройки небольших моделей для суверенного ИИ, достигая 99% валидности JSON и превосходя GPT-4.1 в конкретных задачах.

Для предприятия ИИ-суверенитет начинается с главного требования: сохранение контроля над собственными данными и инфраструктурой. Но по мере того как организации переходят от экспериментов с ИИ к его развертыванию в реальных бизнес-процессах, контроль над самими моделями приобретает все большее значение. Сюда входит возможность точной настройки и адаптации моделей под конкретные задачи, которые необходимо выполнять предприятию.

Atos делает именно это с помощью Red Hat AI в рамках проекта, посвященного анализу немецкоязычного контента социальных сетей по 14 категориям, таким как индикаторы вредоносного контента. Чтобы оставаться надежной для последующих систем, модель должна выдавать результаты в согласованной, определенной структуре JSON. В то же время решение должно отвечать строгим требованиям суверенитета с контролем над данными, моделями и конвейером обучения.

Чтобы это сработало, компании Atos пришлось найти подход, который мог бы обеспечить необходимую точность и надежность, оставаясь при этом суверенным и экономически жизнеспособным в масштабе.

Когда дополнительный контекст — это не решение

RAG стал важным способом подключения ИИ-моделей к проприетарной информации для предприятий. Но не каждую проблему можно решить, предоставив модели больше контекста.

Для Atos задачей было заставить модель надежно выполнять определенную работу: интерпретировать преимущественно немецкоязычный контент, извлекать нужную информацию и стабильно возвращать ее в требуемой структуре. Это требует изменения поведения модели, а не просто изменения информации, к которой она имеет доступ.

С помощью Red Hat AI компания Atos смогла использовать генерацию синтетических данных для создания высококачественных наборов данных, необходимых для точной настройки небольших моделей для структурированного извлечения.

Это решает проблему нехватки доменно-специфичных данных (распространенное препятствие при точной настройке), позволяя предприятиям генерировать синтетические обучающие наборы, необходимые для специализации модели под конкретную корпоративную задачу.

Это дает предприятию еще один способ подключения своих данных к ИИ. RAG может обеспечить модели актуальными знаниями организации, а точная настройка может использоваться, когда целью является обучение модели более специализированному и последовательному поведению.

Небольшие модели могут изменить экономику корпоративного ИИ

Зачем делать это вместо того, чтобы просто использовать пограничную модель? В масштабах предприятия размер модели имеет значение. Вариант использования Atos разрабатывался с расчетом на потенциально миллионы записей в день, что делает стоимость инференса и задержку важными факторами.

Ключевой задачей было выяснить, насколько маленькой может быть модель и при этом выполнять необходимые задачи. Точная настройка улучшила общий показатель оценки Phi-4 Mini на целых 26,4% по сравнению с базовыми моделями. Настроенная модель также научилась стабильно производить валидный JSON, достигая примерно 99% валидности только за счет точной настройки, без использования дополнительной обвязки для обеспечения структуры вывода. Это особенно важно, поскольку показывает, что необходимое поведение вывода было усвоено самой моделью.

Что еще более важно, меньшие модели смогли конкурировать с GPT-4.1 в этой конкретной задаче. Доработанная модель Qwen 2.5 7B превзошла GPT-4.1 в ходе оценки, в то время как доработанная Phi-4 Mini подошла очень близко к GPT-4.1 несмотря на свой гораздо меньший размер. Phi-4 Mini также превзошла NuExtract 2.0 8B — модель, созданную специально для структурированного извлечения и более чем в два раза превышающую ее по размеру — на величину до 22,6% по общему баллу.

Это не означает, что меньшие модели превзойдут пограничные модели для каждой рабочей нагрузки, скорее это доказывает, что самая большая модель не обязательно является правильным выбором для каждой задачи.

Для четко определенных корпоративных рабочих нагрузок точная настройка небольшой модели обеспечивает нужную степень точности без накладных расходов универсальной пограничной модели. Для крупномасштабного производства это кардинально улучшает экономику запуска ИИ в масштабе.

От суверенитета данных к суверенитету ИИ

Суверенитет заключается не только в том, чтобы хранить данные в пределах определенной географической границы. Предприятиям все больше нужен контроль над самими моделями: где они работают, как они адаптируются и как они интегрируются в бизнес-процессы.

Открытые модели обеспечивают важную часть этого контроля. Открытая модель дает вам возможность настраивать модели под ваши собственные рабочие нагрузки и развертывать их на инфраструктуре, которую вы контролируете.

Это становится все более актуальным с появлением агентного ИИ. Корпоративные агенты часто оркестрируют множество специализированных задач, таких как извлечение информации, классификация запросов, создание структурированных выводов и взаимодействие с корпоративными системами. Эти задачи не всегда требуют широких возможностей пограничной модели. Часто они требуют последовательного и специализированного поведения.

Вместо того чтобы отправлять каждую задачу массивной пограничной модели, вы можете выбрать подходящую модель для каждой рабочей нагрузки и специализировать меньшие модели там, где это имеет смысл.

Для Atos результаты доказывают, что небольшая, настроенная модель может соответствовать производительности пограничной модели или превосходить ее в конкретных корпоративных задачах, обеспечивая при этом полный контроль, необходимый для суверенного ИИ.

Суверенный ИИ — это не просто то, где работает ИИ. Это также предоставление предприятиям контроля и гибкости для адаптации ИИ под свои собственные требования.

Что дальше

Хотите узнать, как могут выглядеть небольшие специализированные модели для ваших рабочих нагрузок ИИ?

  • Пообщайтесь со специалистом Red Hat: изучите Red Hat AI или свяжитесь с отделом продаж напрямую
  • Изучите платформу: ознакомьтесь с Red Hat OpenShift AI
  • Попробуйте практическое тестирование: воспользуйтесь нашими интерактивными демоверсиями ИИ
  • Прочитайте наш технический блог: Меньшая модель, более точные инсайты: как Atos подошла к структурированным выводам
  • Получите технические руководства для быстрого старта: просмотрите быстрые старты по ИИ

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →

Ещё от Red Hat