Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Teper v nature adaptatsiya yazykovyh modeley dlya raboty s baytami
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Теперь в Nature: адаптация языковых моделей для работы с байтами

Источник: AI2 (Allen Institute for AI)•7 октября 2026 г. в 15:23

Теперь в Nature: адаптация языковых моделей для работы с байтами

Метод, лежащий в основе Bolmo — полностью открытых байтовых языковых моделей от Ai2, — теперь опубликован в журнале Nature. Новые чекпоинты демонстрируют, что этот подход применим не только к Olmo, но и к другим семействам моделей.

В декабре прошлого года мы представили Bolmo, наше семейство полностью открытых байтовых языковых моделей. Теперь исследование, лежащее в основе Bolmo, опубликовано в журнале Nature, и мы выпускаем новые чекпоинты на Hugging Face, которые переносят базовый подход за рамки моделей Olmo, послуживших отправной точкой для Bolmo, на другие семейства моделей.

Мы также , которые оставляют исходную глобальную модель замороженной при обучении новых байтовых компонентов Bolmo, предоставляя исследователям более быструю отправную точку для экспериментов с архитектурой и ее расширения.

Большинство языковых моделей не обрабатывают текст напрямую. Вместо этого они сначала разбивают его на подслова: фрагменты слов, взятые из фиксированного словаря. Этот подход работает на редкость хорошо, но он также может делать модели менее гибкими при работе с правописанием, необычными строками, редкими словами или текстом, который неплотно ложится на эти предопределенные фрагменты.

Байтовые модели используют другой подход, обрабатывая текст в виде базовых байтов, которые компьютеры используют для представления символов. Модели, такие как Bolmo, работают с более низкоуровневым представлением текста — последовательностями байтов, соответствующими буквам, знакам препинания, символам и другим знакам.

Работа на этом уровне может улучшить понимание моделью мелкозернистой структуры текста, от пробелов до различных систем письма, не привязывая ее к фиксированному словарю. А поскольку байты являются фундаментальным представлением цифровых данных, байтовое моделирование в конечном итоге может обеспечить общую основу для работы с другими типами информации, включая изображения и аудио.

Однако исторически сложилось так, что для того, чтобы байтовые модели сравнялись по производительности с моделями на подсловах, требовалось обучать их с нуля — дорогостоящая задача, которая затрудняет конкуренцию байтовых подходов на фоне стремительного совершенствования моделей на подсловах.

С помощью Bolmo мы продемонстрировали другой подход. Мы создали процесс, который называем байтификацией (byteifying): он берет уже готовую модель на подсловах и преобразует ее в байтовую модель с помощью относительно короткого дополнительного этапа обучения. Мы использовали этот подход для создания Bolmo 1B и Bolmo 7B на базе наших открытых моделей Olmo, создав, как мы полагаем, первые полностью открытые байтовые языковые модели, конкурентоспособные с сильными моделями на подсловах в широком спектре задач.

В статье в журнале Nature мы показываем, что байтификация применима не только к Olmo. Мы применили тот же процесс к Qwen 3 8B и Llama 3 8B для создания двух новых байтовых моделей: Bwen 8B и BlamaLlama-B 8B. Обе модели близки по характеристикам к тем, на основе которых они были созданы, а Bwen 8B — наша на данный момент самая сильная байтифицированная модель, превосходящая Bolmo 7B по результатам нашего общего набора тестов.

Разработчики и исследователи уже начали адаптировать Bolmo для конкретных приложений, включая Bolmo 7B fine-tune for Russian-to-English poetry and lyric translation.

Публикация работы о Bolmo продолжает серию недавних исследований Ai2 в журнале Nature. В феврале наша статья «Синтез научной литературы с помощью языковых моделей, дополненных поиском» (Synthesizing scientific literature with retrieval-augmented language models) показала, как специализированный поиск, ранжирование и цитирование могут помочь языковым моделям синтезировать научную литературу с более надежной опорой на факты.

Bolmo, эта работа и наши более широкие исследования отражают общую уверенность в том, что фундаментальные достижения в области ИИ имеют больший резонанс, когда исследовательское сообщество может изучать их, воспроизводить и легко развивать.

В случае с Bolmo это означает открытие пути к моделям, которые не заперты в рамках единого способа представления информации. Будущие системы смогут адаптировать свои представления под разные языки, домены и задачи, в то время как исследователи смогут тестировать новые архитектуры без повторения полных затрат на обучение. Поскольку байты применимы не только к тексту, те же идеи со временем можно будет распространить и на другие типы данных.

Исследователи также начинают использовать Bolmo в качестве основы для новых работ, включая experiments on transferring capabilities between byte-level models и studies probing the tradeoff between the efficiency of hierarchical byte architectures like Bolmo and fine-grained character understanding.

Сделав Bolmo и его рецепт обучения полностью открытыми, мы надеемся помочь исследователям бросить вызов предположениям, заложенным в современные языковые модели, и узнать, что становится возможным, когда эти предположения меняются.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Ваш агент по написанию кода может читать код. Предоставьте ему историю с помощью Relate от Neo4j
Neo4j

Ваш агент по написанию кода может читать код. Предоставьте ему историю с помощью Relate от Neo4j

Snapchat теперь позволяет разработчикам создавать AR-линзы с помощью ИИ-ассистентов, таких как Claude Code и CursorПресса
Anthropic Claude

Snapchat теперь позволяет разработчикам создавать AR-линзы с помощью ИИ-ассистентов, таких как Claude Code и Cursor

Деградация контекста в AI-агентах: почему длинные задачи теряют точность
Perplexity

Деградация контекста в AI-агентах: почему длинные задачи теряют точность

Самосовершенствующиеся навыки
Perplexity

Самосовершенствующиеся навыки

Microsoft Perception и поведенческая безопасность
Darktrace

Microsoft Perception и поведенческая безопасность

Утечка GigaChat3.5-Omni: 432B-модель Сбера обзавелась «глазами и ушами» в черновике PR
OrcaRouter

Утечка GigaChat3.5-Omni: 432B-модель Сбера обзавелась «глазами и ушами» в черновике PR

Ещё от AI2 (Allen Institute for AI)

Ai2 и Taylor Geospatial объявляют о партнерстве для упрощения сравнения, запуска и разработки геопространственного ИИ
AI2 (Allen Institute for AI)

Ai2 и Taylor Geospatial объявляют о партнерстве для упрощения сравнения, запуска и разработки геопространственного ИИ

XYBench: помощь в решении проблемы, скрытой за вопросом
AI2 (Allen Institute for AI)

XYBench: помощь в решении проблемы, скрытой за вопросом

ToyBlocks: управляемый мир для обучения и оценки роботов
AI2 (Allen Institute for AI)

ToyBlocks: управляемый мир для обучения и оценки роботов

Ai2 и Google сотрудничают в разработке нового поколения климатических моделей
AI2 (Allen Institute for AI)

Ai2 и Google сотрудничают в разработке нового поколения климатических моделей

StateBench: тестирование способности языковых моделей отслеживать изменения состояния в длинных документах
AI2 (Allen Institute for AI)

StateBench: тестирование способности языковых моделей отслеживать изменения состояния в длинных документах

Как Olmo 3 получила высший этический рейтинг от Nextcloud
AI2 (Allen Institute for AI)

Как Olmo 3 получила высший этический рейтинг от Nextcloud