Масштабирование предварительного обучения для индийских языков: 2,8 триллиона токенов и открытый конвейер генерации данных

Данные на родном языке для 22 языков, романализированные данные для 12 языков и повторяемый конвейер с ускорением на GPU для перевода, оценки качества и исправления.

Авторы: AI4Bharat — Мохаммед Сафи Ур Рахман Хан, Митеш Хапра, Анууп Кунчукуттан. NVIDIA — Никет Агарвал, Равирадж Джоши, Ануша Камат, Маркус Клигл, Йев Мейер, Шрихарша Ниверти, Кирана Правин, Уткарш Вайдя.

Мы рады представить Nemotron-pretraining-Indic-v1, содержащий примерно 2,8 триллиона токенов на 22 индусских языках, который будет выпущен в ближайшее время вместе с открытым конвейером генерации данных с ускорением на GPU, использованным для его создания. Это 22 языка, перечисленные в Конституции Индии: первые языки для 97% индийцев, или почти 1,2 миллиарда граждан по данным переписи 2011 года. Разработанный NVIDIA совместно с IIT Madras, ведущим инженерным институтом Индии, и его AI4Bharat лабораторией, этот релиз предоставляет разработчикам моделей существенный новый ресурс для предварительной подготовки индусских языков. Конвейер фиксирует полный рецепт генерации, включая промпты, рабочие процессы LLM и проверки качества, чтобы разработчики могли адаптировать его к своим собственным исходным материалам и генерировать больше данных для своих нужд.

AI4Bharat — исследовательская лаборатория индийских языков IIT Madras, которая создает открытые наборы данных и модели для индийских языков. Ее ресурсы, такие как Sangraha — открытый корпус для предварительной подготовки на 22 индийских языках, — помогли заложить основу для открытых исследований моделей индусских языков. Наш совместный релиз с открытым исходным кодом представляет собой существенное расширение открытых синтетических обучающих данных на индусских языках, которые будут доступны сообществу. Он включает широкий спектр отобранных англоязычных материалов, включая математику, код и контент с вопросами и ответами, переведенные на индийские языки, что дает командам больше обучающего материала для создания моделей, которые могут объяснять технические концепции, решать проблемы и отвечать на вопросы на этих языках. Каждая запись связана с исходным документом, и каждый результат проверяется по сравнению с его входными данными, поэтому синтетический текст остается основанным на реальной информации.

Митеш Хапра, который возглавляет AI4Bharat и создал 2025 TIME100 AI list, назвал основную проблему: технология индийских языков отстает от английского языка, потому что «у нас недостаточно данных для индийских языков». Мы отвечаем на этот призыв, предоставляя больше данных, а также открытый рецепт для генерации большего количества данных.

Корпус также учитывает, как люди пишут. Он включает данные на родном языке для всех 22 языков и романизированный текст для 12 языков, охватывая 34 конфигурации языка и письма. Наши рабочие процессы сочетают перевод на уровне документов, оценку качества и целевое исправление с проверками для сохранения контента, такого как уравнения, таблицы и код. Эти данные дополняют естественно написанный индусский текст, который остается важным для местного знания и культурного контекста.

Мы делимся открытым рецептом генерации, чтобы сообщество могло не только воспроизвести данные, но и продолжить эту работу. Команды могут использовать корпус напрямую, адаптировать промпты и проверки качества или привнести свои собственные исходные документы в рабочий процесс. Открывая как данные, так и процесс, мы стремимся сделать крупномасштабную генерацию данных на индусских языках более доступной и позволить большему количеству разработчиков вносить вклад в создание более сильных моделей на индийских языках.

Продолжение предварительной подготовки Nemotron 3.5 Super VL добавило 10 миллиардов индусских токенов, взятых из двенадцатиязычного подмножества этого корпуса и естественного индусского текста. Наш технический отчет о модели охватывает всю историю. Мы планируем развивать этот корпус в будущих моделях Nemotron.

Что входит в корпус?

Рисунок 1. Корпус содержит 2 601,0 миллиарда токенов на родном языке и 224,6 миллиарда романализированных токенов. Количество использует токенизатор Gemma-4. Записи документов включают переводы и варианты письма общих источников; они не являются подсчетами уникальных англоязычных документов.

Корпус имеет две группы конфигураций языков:

• Данные на родном языке и романизированные данные: бенгали, гуджарати, хинди, каннада, малаялам, маратхи, непали, ория, пенджаби, тамил, телугу и урду.
• Данные на родном языке: ассамский, бодо, догри, кашмири, конкани, майтхили, манипури, санскрит, сантали и синдхи.

Здесь «родной язык» описывает систему письма: текст все еще переводится с английского. «Романизированный» означает текст на индусском языке, написанный латинским алфавитом, а не английский перевод. Для каждого из двенадцати языков с двумя системами письма романализация охватывает подмножество принятых переводов на родном языке.

Это различие важно при построении обучающей смеси. Записи на родном языке и романизированные записи предлагают разный опыт работы с письмом, но могут выражать один и тот же базовый контент. Количество токенов описывает сохраненный корпус, включая принятые переписывания, а не бюджет токенов для обучения. Количество также зависит от используемого токенизатора, поэтому инвентарь корпуса и количество обучающих токенов должны рассматриваться отдельно.

От англоязычных исходных документов до обучающих данных на индусских языках

Для создания этого корпуса мы начинаем с документов из 15 подмножеств Nemotron-CC-v2, охватывающих веб-текст, материалы с вопросами и ответами, математику, код и другой специализированный контент. Мы используем NeMo Data Designer, открытую фреймворочную систему NVIDIA для генерации синтетических данных, для выполнения перевода, проверок качества и целевого исправления. На протяжении всего рабочего процесса мы сохраняем каждый идентификатор источника, чтобы разработчики могли отследить результат до его исходного документа. Четкое происхождение, как это, является частью того, что делает открытые данные практичными для аудита и дальнейшего использования. Рисунок 2 показывает рабочий процесс для двенадцати языков.

Рисунок 2. Четырехэтапный конвейер синтетических данных на индусских языках для двенадцати языков, реализованный с использованием NeMo Data Designer и Gemma-4-31B-it. Мы переводим англоязычные документы, оцениваем качество перевода, исправляем результаты с низким баллом и конвертируем подмножество принятых переводов в латинский алфавит. Другие десять языков используют отдельный рабочий процесс индусского перевода, описанный ниже.

Рабочий процесс для двенадцати языков

Для этих двенадцати языков мы переводим документы полностью, чтобы модель могла использовать контекст между абзацами, таблицами и уравнениями. Мы выбрали Gemma-4-31B-it, сравнив модели на полных документах, проверив качество перевода и сохранение технического контента. Наши промпты различают прозу для перевода и контент для сохранения, включая код, уравнения, URL-адреса и форматирование.

После перевода мы используем ту же модель для оценки каждого результата по сравнению с его английским источником. Рубрика, вдохновленная Multidimensional Quality Metrics (MQM) — открытой системой для классификации ошибок перевода по типу и серьезности, — охватывает смысл, беглость, терминологию, стиль и форматирование. Мы сохраняем только результаты, набравшие не менее 75 баллов из 100 (рейтинг рубрики, а не процент точности). Для результатов с более низким баллом мы используем обратную связь по оценке, чтобы направлять исправления, а затем переоцениваем их по тому же порогу. Этот процесс восстановил 438,4 миллиарда токенов в данных на родном языке и романизированных данных, которые уже включены в общий объем корпуса. Выборочные обзоры людьми и тесты с намеренно введенными ошибками помогли выявить пропуски и остаточный английский язык, что позволило улучшить наши промпты и проверки.

Принятые переводы на родном языке также служат отправной точкой для романализированных данных. Мы преобразуем часть данных в латинский алфавит и проверяем каждый результат по сравнению с исходным текстом на родном языке. Это позволяет отделить процесс перевода от процесса преобразования шрифта. В нашем первоначальном сравнении с участием человека этот двухэтапный подход дал меньше галлюцинированных добавлений и меньше остаточного английского, чем генерация романализированного текста напрямую из английского.

Десятиязычный рабочий процесс

Для других десяти языков мы адаптируем рабочий процесс для решения проблем качества длинных документов и стабильности шрифта, наблюдаемых в наших сравнениях. Мы переводим с помощью Indic Translate — модели перевода на уровне документов для английского и 22 индийских языков от Bodhan AI, некоммерческого центра по ИИ в образовании, инкубируемого в IIT Madras. Gemma-4-31B-it затем оценивает каждый перевод по сравнению с английским исходником. Для восьми языков мы сохраняем подход к переводу всего документа. Для более длинных документов на сантали мы переводим перекрывающиеся окна и восстанавливаем документ; для манипури мы переводим в бенгальский алфавит, а затем преобразуем в мейтей мейек — его родной алфавит. Эти рабочие процессы сохраняют результаты, оцениваемые не менее чем в 75 баллов из 100, и производят только данные на родном языке, без переписывания на основе обратной связи.

Что изменилось после того, как Indic продолжил предварительное обучение?

Технический отчет Nemotron 3.5 Super VL сравнивает контрольную точку непосредственно перед тем, как Indic продолжил предварительное обучение (CPT), с контрольной точкой после этого этапа. Бюджет был настроен на 100 миллиардов токенов обучения, из которых 10% (10 миллиардов токенов) были выделены на смесь синтетического и естественного текста на индийских языках. Остальные 90% сохраняли относительные пропорции предыдущей смеси обучения.

Оценки увеличились по всем пяти сообщенным критериям индийских знаний и рассуждений: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy и Indic GSM8K.

Рисунок 3. Nemotron 3.5 Super VL до и после этапа Indic CPT. Прирост составляет от 4,98 до 9,82 процентных пунктов. Сравнение отражает изменение на этапе обучения, который сочетает синтетические и естественные данные на индийских языках, а не изолирует вклад синтетического корпуса. Охват языков различается в зависимости от критерия; это контрольные точки на уровне этапа, а не сравнение финальных версий модели.

Эти достижения поддерживают комбинированный рецепт синтетического и естественного CPT на индийских языках, оставляя выбор смеси для других моделей и языков для дальнейшего изучения.

Сопровождающий отчет по индийским языкам изучает смеси источников, размер пула синтетических данных и охват шрифтов с использованием принятых данных первого прохода для группы из двенадцати языков. Оценка полного корпуса, включая восстановленные переписывания и другие десять языков, остается следующим шагом для этих контролируемых исследований.

Более широкие возможности Indic в Nemotron 3.5 Super VL

Помимо результатов этапа CPT, как выпущенная модель сравнивается с предыдущим поколением? Рисунок 4 сравнивает Nemotron 3.5 Super VL с Nemotron 3 Super по производительности в индийских задачах и качеству языка. Эти результаты отражают полный конвейер обучения выпущенной модели, включая Indic CPT и постобучение.

Nemotron 3.5 Super VL набрал более высокие баллы по пяти из шести показанных критериев задач, охватывающих знания, рассуждения, математику, код и перевод. Следование инструкциям в IFEval 1.5 снизилось на 2,04 балла. Он также улучшается по всем четырем измерениям IndiVibe: полезность, беглость, языковая и шрифтовая точность, а также подходящая объемность. IndiVibe — это открытый критерий Sarvam AI для промптов в стиле помощника на индийских языках. Вместе эти оценки изучают как то, что модель может делать, так и то, насколько хорошо она общается на индийских языках.

Рисунок 4. Производительность в индийских задачах и качество языка в поколениях Nemotron Super. Слева: шесть критериев задач. Справа: предварительные оценки условных предпочтений IndiVibe, а не прямые показатели побед в соревновании. Метки показывают изменения в процентных пунктах, за исключением WMT24++, который использует баллы chrF. Подробности о критериях и оценках см. в сопроводительном техническом отчете по индийским языкам.

Начните создавать

Загрузите корпус

Начните с языков и шрифтов, которые нужны вашей модели, изучите образец и просмотрите карточку датасета и лицензию перед обучением. Конфигурации используют теги языка, шрифта и региона: например, hi-Deva-IN обозначает хинди на деванагари, а hi-Latn-IN обозначает романизированный хинди.

Пример ниже запрашивает идентификатор репозитория из карточки датасета, затем обнаруживает доступные разделы и транслирует образец.

Hugging Face Datasets поддерживает потоковую передачу, чтобы читатели могли изучать записи без загрузки всего корпуса. Как только релиз станет доступным, закрепите версию датасета для воспроизводимых экспериментов.

Для первого исследования обучения сравните смеси при фиксированном бюджете токенов и запишите доли естественного/синтетического и родного/романализированного. Отслеживайте результаты по языкам наряду с сохранением возможностей английского языка и качеством языка/шрифта. При создании выделенных разделов учитывайте записи, полученные из одного и того же источника на разных языках и в разных шрифтах.

Чтобы создать более полный рецепт, сопоставьте корпус с данными постобучения Nemotron, такими как коллекции Chat & Instruction или Post-Training Blends. Для индийских синтетических данных, специфичных для Индии, инициализируйте NeMo Data Designer с Nemotron-Personas-India — синтетическими персонажами на английском и хинди, основанными на реальных распределениях для Индии.

Адаптируйте рецепт генерации

Открытый исходный код плагина Nemotron Bharat для NeMo Data Designer предоставляет промпты для перевода и оценки, необязательное переписывание на основе обратной связи, разбиение документов на окна и поддержку преобразования шрифтов. Используйте его справку по конфигурации, чтобы выбрать модели и языки, адаптировать промпты к вашему домену и настроить параметры переписывания. Сопроводительное примечание для разработчиков объясняет рабочий процесс и инженерные решения.

Начните с небольшого образца ваших собственных исходных документов. Изучите качество перевода и сохранение кода, математики и форматирования, затем уточните промпты и проверки с рецензентами на родном языке перед масштабированием. Рассматривайте генерацию и принятие корпуса как отдельные шаги: плагин возвращает кандидатов и оценки, а ваша политика фильтрации определяет, какие записи попадают в учебный корпус.

Сфера охвата и ограничения

Перевод расширяет доступ к исходному материалу, но не заменяет текст, изначально написанный на индийских языках, и не гарантирует охвата местных знаний и культуры. Мы рекомендуем сочетать этот корпус с соответствующим естественным текстом на индийских языках и оценивать полученную смесь для предполагаемого случая использования.

Оценка качества в основном автоматизирована, дополнена выборочной проверкой людей, охват которой варьируется в зависимости от языка. Для двенадцатиязычного рабочего процесса (Рисунок 2) переводчик также служит судьями. Сохраненный текст все еще может содержать ошибки, и десятиязычный рабочий процесс нуждается в более широкой валидации носителями языка. Проверки идентификатора источника удаляют дубликаты обработки; они не являются семантической дедупликацией похожего контента.

Вместе с корпусом, AI4Bharat из IIT Madras при поддержке NVIDIA разрабатывает Indic-LLM-Eval-Suite — открытый и развивающийся набор бенчмарков для оценки возможностей индийских моделей. Он помогает создателям моделей оценивать как производительность по задачам, так и качество языка. См. сопутствующий блог, Better Models Need Better Benchmarks: Introducing Indic-LLM-Eval-Suite.

Изучите конфигурации языка, протестируйте смесь обучения или адаптируйте открытый рецепт под новую область. Обмен результатами по каждому языку и улучшениями рабочего процесса генерации может помочь сообществу развивать эту работу.

Дополнительные материалы и благодарности

Сопутствующие отчёты Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs и Nemotron 3.5 Super VL and Lightning technical report предоставляют сведения о корпусе, методах генерации, экспериментах и деталях оценки. Оценка — это другая половина этой работы. Для бенчмарков см. сопутствующий блог от AI4Bharat и NVIDIA, .

Эта работа объединяет NVIDIA, IIT Madras, AI4Bharat и Bodhan AI. Мы также благодарим за вклад в модель и инструменты, использованные в пайплайне: Google Gemma, Bodhan AI Indic Translate и NeMo Data Designer. Дополнительные ресурсы данных NVIDIA доступны в коллекции Nemotron Pre-Training Datasets.