Комбинированный подход на основе ИИ к созданию японских персон на основе реальных распределений
Открытые данные преодолевают барьеры конфиденциальности, прокладывая путь для ИИ в сфере финансов
В финансовом секторе использование реальных данных сталкивается со значительными ограничениями из-за строгих правил конфиденциальности, требований комплаенса и необходимости наличия глубоких экспертных знаний в предметной области. В этом контексте разработка агентного ИИ в финансовой сфере требует синтетических данных, способных избежать рисков использования реальных данных и при этом отражающих демографию, структуру домохозяйств и статусы активов для воспроизведения разнообразных, реалистичных финансовых сценариев.
Чтобы решить эти проблемы, Elith и NVIDIA выпустили Nemotron-Personas-Finance-Japan — расширение для финансовой области открытого набора данных персон «Nemotron-Personas-Japan». Насколько нам известно, это первый открытый набор данных персон масштабом в миллион записей, который объединяет официальную статистику Японии с данными по финансам домохозяйств и финансовой грамотности. Этот набор данных, созданный на основе официальной правительственной статистики, был разработан с использованием NeMo SDG-PGMs, фреймворка вероятностных графовых моделей для генерации синтетических данных (SDG), и NeMo Data Designer, корпоративной системы генерации синтетических данных. Кроме того, для повышения практической полезности набора данных в финансовых сценариях он был разработан с учетом идей и отзывов ведущих отечественных финансовых институтов и отраслевых ассоциаций, включая Sompo Japan, Tokio Marine Holdings, Bank of Fukuoka, Mizuho Financial Group, Meiji Yasuda Life Insurance и Ассоциации использования финансовых данных (FDUA).
Этот набор данных расширяет возможности для японских разработчиков и предприятий по созданию и оценке ИИ, адаптированного под местные и отраслевые требования, без использования реальных клиентских данных. Выпущенный под лицензией CC BY 4.0, он доступен для коммерческого использования. От создания разговорных агентов до симуляции клиентов и оценки моделей — он поддерживает практическую разработку финансового ИИ. Коллекция Nemotron-Personas, включая Nemotron-Personas-Finance-Japan, разработана для бесшовной интеграции с фреймворком симуляции пользователей NeMo User Sim, обеспечивая мгновенный запуск симуляций на основе разнообразных распределений, соответствующих реальному миру.
Что входит в набор данных?
- Всего 9 млн персон (по 1 млн записей для каждой из 9 персон), написанных на естественном японском языке
- 50 полей на запись: 9 полей персон, 11 атрибутов персон и 30 контекстных полей на основе официальной демографической статистики и статистики труда
- Всего около 1,5 млрд токенов, включая около 750 млн токенов персон
- Около 950 тыс. уникальных имен
- Более 1600 категорий профессий, отражающих рынок труда Японии
- Всесторонний охват по осям демографии, регионов, распределения активов и черт характера
- Разнообразные типы персон: профессии, спорт, искусство, путешествия, кулинария, финансы, финансовое поведение и финансовые опасения
- Атрибуты персон на естественном языке: культурный фон, навыки и опыт, карьерные цели и стремления, хобби и интересы, семейный/родительский/финансовый бэкграунд, отношение к деньгам и финансовое планирование
- Доступно как для коммерческого, так и для некоммерческого использования под лицензией CC BY 4.0
Как мы это создали
Конвейер генерации данных
Набор данных был создан с использованием фреймворка NVIDIA для генерации синтетических данных — NeMo Data Designer. Эта комбинированная система ИИ поддерживает сложные шаблоны Jinja, валидацию Pydantic, структурированные выходы, автоматические повторные попытки и работу с несколькими бэкендами генерации. Это необходимый набор инструментов для создания столь масштабных синтетических наборов данных. Кроме того, использовались следующие модели:
- NeMo SDG-PGMs (Apache-2.0): фреймворк вероятностных графовых моделей для статистически обоснованной генерации данных
- gemma-4-31B-it (Apache-2.0): для генерации текста на японском языке
Улучшенный культурный контекст
Nemotron-Personas-Finance-Japan был разработан в соответствии с официальной демографической статистикой и статистикой труда Японии с учетом ключевых факторов, необходимых для обучения ИИ:
- Образование: в то время как национальная статистика широко объединяет уровни ученых степеней, мы ввели более высокую детализацию, чтобы модель могла отражать различные образовательные траектории.
- Профессия: мы добавили дополнительные категории (например, владельцев бизнеса и специализированные профессии), чтобы расширить спектр профессий, используемых для обучения.
- Жизненные этапы: мы смоделировали сценарии, которые редко ярко выражены в статистике (например, студенты, пенсионеры и периоды безработицы), чтобы представить более реалистичные персоны.
- Финансы домохозяйств: в дополнение к индивидуальному доходу и склонности к тратам мы включили финансовые и реальные активы на уровне домохозяйств для воспроизведения различных экономических условий.
- Цифровая и финансовая грамотность: включив данные об использовании интернета и смартфонов наряду с финансовой грамотностью, мы позволили модели точно отражать профили потребителей в финансовых сценариях.
Конфиденциальность по умолчанию
Каждая персона полностью синтетическая. Реальные лица не представлены, и набор данных разработан так, чтобы снизить риски для конфиденциальности. Демография и финансы домохозяйств соответствуют официальной статистике и данным публичных опросов, а имена соответствуют реальным японским моделям именования. Персоны построены на основе этих распределений, а не на записях о реальных людях.
Для кого предназначены эти данные
Nemotron-Personas-Finance-Japan создана в первую очередь для команд, разрабатывающих финансовый ИИ в Японии: в банках, страховых компаниях, а также в стартапах и среди интеграторов, которые их обслуживают. Каждая персона включает данные о финансах домохозяйства и финансовой грамотности наряду с демографией. Команды могут использовать их для создания агентов службы поддержки клиентов, оценки разговоров в сфере продаж/маркетинговых инициатив, запуска симуляций пользователей в NeMo User Sim и проведения тестирования на проникновение (red-teaming) для ориентированного на клиентов ИИ.
Этот релиз также полезен всем, кто создает решения для японских пользователей. Он содержит 9 млн персон — на 50% больше, чем в Nemotron-Personas-Japan, — распределенных по 50 полям вместо 22. Это дает любому проекту на японском языке более детальные срезы населения для обучения и тестирования.
Практические применения ИИ
Синтетические персоны из этого набора данных могут быть использованы для:
- Многоходовых диалогов: использования персон в качестве «основы» для генерации человекоподобных диалоговых датасетов.
- Разработки ИИ для конкретных доменов: генерации датасетов для создания ИИ-ассистентов, адаптированных под реалистичные сценарии в финансовых кейсах.
- Тестирования на предвзятость и справедливость: оценки того, как модели и системы ИИ-агентов работают в условиях разделения на сельские и городские районы, различные возрастные группы, уровни образования и экономические обстоятельства, чтобы проверить, работает ли ИИ стабильно в японском обществе.
Почему это важно
Доступ к разнообразным и высококачественным обучающим данным, отражающим реальное население, долгое время был проблемой при разработке ИИ. Корпоративная разработка ИИ преимущественно опиралась на закрытые данные, создавая барьеры для исследователей, стартапов и особенно разработчиков ИИ в регионах с ограниченным доступом к данным.
- Разнообразие данных: отражает весь спектр населения Японии, что помогает снизить предвзятость при обучении и риск деградации модели.
- Культурная аутентичность: снижает зависимость от датасетов с западным уклоном и поддерживает разработку суверенных систем ИИ.
- Конфиденциальность и управление: соответствует ориентированному на инновации подходу Японии к управлению ИИ. Каждая персона является синтетической, поэтому для создания или тестирования не требуются данные клиентов.
Выпуская Nemotron-Personas-Finance-Japan под лицензией CC BY 4.0, мы предоставляем доступ к высококачественным синтетическим данным корпоративного уровня, позволяя любому создавать культурно адаптированные системы ИИ с меньшими затратами и меньшим риском для конфиденциальности.
Сочетается с Nemotron-PII-Japan
Nemotron-PII-Japan запускается в тот же день. Он содержит 100 000 синтетических японских деловых документов с размеченной персональной информацией для обучения и тестирования моделей обнаружения и редактирования. Его документы созданы на основе Nemotron-Personas-Japan. Используйте Nemotron-Personas-Finance-Japan для симуляции клиентов, а Nemotron-PII-Japan — для проверки того, как ваш пайплайн защищает их данные.
Начало работы с Nemotron-Personas-Finance-Japan
Вы можете скачать этот датасет с помощью приведенной ниже команды, чтобы помочь в разработке ИИ, который подлинно понимает японскую культуру и язык.
Варианты использования для создания готовых к продакшену приложений:
- Использование персон в качестве основы для генерации диалогов
- Дообучение моделей с использованием культурно адаптированных данных
- Создание персонализированных движков, отражающих общую демографическую структуру Японии
- Разработка доменных ИИ-агентов, обладающих японским контекстом
От команд, создающих ИИ в Японии, до глобальных разработчиков, стремящихся к более широкому региональному развертыванию, датасет Nemotron-Personas-Finance-Japan предоставляет аутентичную основу с учетом конфиденциальности, необходимую для ваших приложений.
