Кратко
NVIDIA Kumo Relational — это предобученная реляционная фундаментальная модель, которая делает прогнозы непосредственно на основе корпоративных баз данных. Получая прогностический запрос, она собирает до 10 000 исторических примеров в качестве контекста и предсказывает результаты, такие как отток клиентов, спрос или мошенничество, за один прямой проход. Ей не требуется специфическое для задачи обучение, разработка признаков (feature engineering) или сведение таблиц. Kumo Relational — первая фундаментальная модель малодобычного обучения (few-shot), которая превосходит контролируемое машинное обучение на стандартных реляционных бенчмарках. В 41 задаче на 15 базах данных она обходит контролируемые реляционные модели глубокого обучения и разработанные экспертами конвейеры деревьев с бустингом градиента, а на корпоративном бенчмарке SAP SALT она превосходит ансамбли AutoGluon на 8% по метрике MRR (Mean Reciprocal Rank). Она масштабируется до баз данных с 500 млрд+ строк и одинаково эффективна как для людей, так и для агентов благодаря библиотеке структурированных моделей данных с открытым исходным кодом от NVIDIA, оптимизированной под GPU, либо в виде NVIDIA NIM.
- Документ: https://arxiv.org/abs/2604.12596
- Документация: https://docs.nvidia.com/sdgm/rfm/overview
Переход к фундаментальным моделям структурированных данных
Фундаментальные модели уже переписали правила игры в сфере обработки языка и компьютерного зрения. Не так давно промышленный NLP подразумевал отдельную модель для каждой задачи, в которую подавался собственный конвейер токенизации, лемматизации и n-граммов. Большие языковые модели (LLM) сделали этот стек в значительной степени устаревшим по трем причинам: они были точнее лучших специализированных задачных моделей, гораздо проще в развертывании в продакшене и достаточно гибкие, чтобы открыть новую эру агентских приложений.
Тот же сдвиг происходит сейчас и для структурированных данных. Реляционные базы данных лежат в основе важнейших бизнес-решений во всем мире, однако прогностическое моделирование на их основе по-прежнему требует недель разработки признаков, обучения под конкретные задачи и настройки конвейеров. Фундаментальные модели структурированных данных меняют это по тем же трем причинам:
Лучшая точность сегодня: будучи взаимозаменяемыми аналогами, эти модели уже превосходят многие производственные конвейеры, особенно XGBoost. В задачах классификации RelBench V1 модель Kumo Relational превосходит деревья с бустингом градиента на созданных экспертами признаках почти на 4 пункта AUROC в среднем. На SAP SALT она превосходит XGBoost на спроектированных признаках на 7 пунктов MRR из коробки и на 13 пунктов MRR после тонкой настройки. Эти результаты весомо обосновывают замену производственных конвейеров XGBoost на Kumo Relational.
Простота и гибкость: одна предобученная модель заменяет отдельные конвейеры для отдельных задач. Новый прогноз становится запросом, а не проектом, поэтому команды ML могут наконец взяться за сценарии использования, которые традиционный ML делал слишком трудоемкими для реализации на любом уровне организации.
Агенты, способные делать прогнозы: LLM позволяют агентам читать, писать и рассуждать. Фундаментальные модели структурированных данных позволяют им предвидеть то, что произойдет дальше, например, какой клиент уйдет, и действовать соответственно. Kumo Relational уже создана для вызовов со стороны агентов, а ее язык прогностических запросов (PQL) предоставляет им простой интерфейс для постановки прогностических задач.
Сегодня мы представляем Kumo Relational (, ) — предобученную фундаментальную модель, которая переносит эту парадигму на реляционные данные. Подключите базу данных, опишите, что нужно предсказать, и получайте прогнозы за один прямой проход. Обучение не требуется.
Как работает Kumo Relational
Большинство фундаментальных моделей для структурированных данных работают с одной плоской таблицей. Данные реального мира хранятся в реляционных базах данных: пользователи связаны с заказами, заказы — с товарами, и все это развивается во времени. Превращение этих связей в одну строку посредством ручной агрегации (например, «средняя стоимость заказа за последние 30 дней») приводит к потере мелкозернистых структурных сигналов и требует значительных усилий человека.
Kumo Relational — это реляционная фундаментальная модель, которая работает непосредственно с базой данных, учитывая ее таблицы, внешние ключи и временные метки. Она предварительно обучается один раз на синтетических реляционных данных, отражающих реальные наборы данных, и адаптируется к каждой новой задаче с помощью обучения в контексте (in-context learning), считывая до 10 000 контекстных примеров во время вывода. Каждый пример объединяет локальный подграф вокруг сущности в определенный момент времени с целевым значением истинности (например, «этот пользователь ушел» или «этот товар продался в количестве 142 штук»).
![Обзор системы NVIDIA Kumo Relational: (a) интеграция с базой данных, (b) интерфейс подсказок, преобразующий естественный язык в прогностический запрос, и (c) автоматическая генерация контекста, подаваемая в модель NVIDIA Kumo Relational, которая масштабируется горизонтально по клиентам.]
Рисунок 1. Обзор системы Kumo Relational. Подключите базу данных, задайте прогностический запрос, а Kumo Relational сделает все остальное: от генерации контекста до вывода модели.
Чтобы сделать прогноз, Kumo Relational должна выполнить три действия: (1) понять значения в каждой таблице, (2) сопоставить записи между таблицами и (3) связать контекстные примеры с известными целевыми значениями для прогнозируемой сущности. Вот как это работает:
![Архитектура Kumo Relational: (a) контекстный ввод с таблицами задач, пользователей, заказов и товаров; (b) внимание к столбцам и строкам внутри таблиц с внедренными целевыми значениями контекста; (c) графовое внимание и межвыборочное внимание между таблицами.]
Рисунок 2. Архитектура Kumo Relational: (a) контекстный ввод, (b) рассуждения внутри таблиц, (c) рассуждения между таблицами.
Автоматическая генерация контекста: задачи записываются на языке Predictive Query Language (PQL), декларативном интерфейсе, где вы указываете, что нужно предсказать, а не как. Для задач, зависящих от времени, Kumo Relational воспроизводит исторические состояния базы данных: она производит выборку ориентированных на сущности подграфов до опорной временной метки и вычисляет каждую цель на основе событий после этой метки, предоставляя модели данные только до нее. Это предотвращает утечку данных.
Рассуждения внутри таблиц: легковесная сеть обрабатывает каждую таблицу независимо, чередуя внимание к столбцам (сопоставление значений внутри столбца) и внимание к строкам (сопоставление признаков внутри строки). Модель определяет, какие столбцы и строки важны для текущего прогноза, и отфильтровывает шум до того, как он распространится.
Рассуждения между таблицами: более крупная сеть распределяет эмбеддинги строк по реляционной структуре с помощью графового внимания по связям первичных и внешних ключей, чередуясь с межвыборочным вниманием по контекстным примерам. Именно здесь происходят реляционные рассуждения, такие как связывание профиля пользователя с историей его транзакций. Поскольку этот этап работает с эмбеддингами строк, а не с каждой ячейкой в каждой таблице, такая конструкция позволяет избежать квадратичной сложности и масштабироваться до больших контекстов и более глубоких подграфов.
Как создавалась Kumo Relational
Kumo Relational предварительно обучается на полностью синтетических реляционных данных, смоделированных так, чтобы отражать реальные реляционные базы данных с разнообразными прогностическими запросами. Предварительное обучение проходит в несколько этапов: от отдельных таблиц до все более сложных реляционных структур.
Разнообразные реляционные базы данных, необходимые для предварительного обучения, редко находятся в открытом доступе, поэтому этот пробел заполняют синтетические данные. Генератор Kumo Relational продолжает подход PluRel (Kothapalli et al., ICML 2026), который расширяет возможности генераторов однотабличных данных до полноценных реляционных баз данных. Участники команды Kumo помогали в разработке PluRel и являются соавторами оригинальной научной работы. PluRel генерирует каждую базу данных в три этапа: создание схемы, установление связей по внешним ключам между строками, которые группируются так же, как в реальных данных, и заполнение значений столбцов с помощью структурных причинно-следственных моделей с временными трендами и межтабличными зависимостями. Процесс генерации отличается легковесностью, поэтому объем данных для предварительного обучения фактически не ограничен, а в статье о PluRel показано, что потери при предварительном обучении подчиняются степенному закону по мере добавления синтетических баз данных, причем прирост производительности переносится и на реальные базы данных.
Благодаря такому предварительному обучению модель учится фильтровать, сопоставлять и агрегировать информацию из разных таблиц, а не полагаться на фиксированные агрегации. Когда критически важна максимальная точность, Kumo Relational также можно дообучить на конкретном наборе данных и под конкретную задачу.
Производительность
В этой статье мы оценили Kumo Relational на 41 бенчмарке по 15 реляционным базам данных из RelBench V1 и V2, SAP SALT и 4DBInfer, охватывающих сферы электронной коммерции, медицины, корпоративный, социальный и академический домены. Ни один из этих наборов данных не использовался при предварительном обучении. Kumo Relational превосходит самые сильные модели с учителем как в задачах классификации, так и регрессии, включая модели реляционного глубокого обучения и ансамбли табличных данных, созданные экспертами. В таблице лидеров RelArena-α, которая сравнивает реляционные модели и системы на базе RelBench V1, модель «из коробки» также находится на фронте Парето по соотношению точности и эффективности:
![Диаграмма рассеяния таблицы лидеров RelArena-α: относительная точность в виде рейтинга Elo по задачам (ось y) против медианного времени вывода на 1 000 примеров (ось x, логарифмическая шкала). Kumo Relational находится на фронте Парето при значении около 17 секунд и рейтинге Elo 1842. Самый результативный участник, rt-plurel, достигает рейтинга Elo 1878 примерно за 7300 секунд, что примерно в 430 раз медленнее. Все остальные базовые модели, системы разработки признаков и модели с учителем показывают более низкие результаты и работают медленнее, чем Kumo Relational.]
Рисунок 3. Таблица лидеров RelArena-α: рейтинг Elo по задачам против медианного времени вывода на 1 000 примеров (логарифмическая шкала). Kumo Relational примерно в 430 раз быстрее участника с самым высоким результатом при сопоставимой точности.
В статье также сообщается, что в корпоративном бенчмарке SAP SALT модель Kumo Relational превосходит крупные ансамбли AutoGluon на 8% по метрике MRR (средняя обратная ранг) и современные табличные базовые модели примерно на 25%, а дообучение увеличивает ее преимущество перед AutoGluon до 16%. Модель также устойчива к сложным условиям: она хорошо работает, имея в качестве контекста всего 0,2% обучающих данных, сохраняет стабильность при удалении до 75% связей по внешним ключам и практически не теряет в качестве при добавлении большого количества зашумленных столбцов.
Ограничения
Kumo Relational демонстрирует наилучшие результаты на данных со значимыми связями и временной динамикой, таких как поведение пользователей с течением времени. В задачах с очень большими обучающими наборами данных специализированные модели с учителем все еще могут превосходить контекстные предсказания, в которых в наших бенчмарках использовалось не более 10 000 контекстных примеров. Дообучение базовой модели разработано как раз для таких случаев. Предиктивные сигналы также должны быть доступны в рамках ограниченного числа переходов (хопов), поэтому рекомендуется начинать со сфокусированного запроса по нескольким релевантным таблицам и расширять граф по мере необходимости.
Демонстрация
Kumo Relational выполняет обучение в контексте непосредственно поверх баз данных: в памяти, через коннекторы к базам данных и хранилищам или через специализированный графовый движок, который обрабатывает более 500 млрд строк с помощью ввода-вывода с отображением в память со скоростью до 5 ГБ/с. Модель доступна в недавно выпущенной библиотеке структурированных данных от NVIDIA с нативной поддержкой графических процессоров — той же библиотеке с открытым исходным кодом, на базе которой работает наша родственная модель Kumo Tabular. Библиотека скачивает веса из репозитория Hugging Face Hub при первом использовании, поэтому вы можете загрузить модель в ноутбук с поддержкой GPU и выполнять предсказания прямо из него. Приведенный ниже код передает модели контекстные примеры, сущности для предсказания и связанные с ними таблицы:
Полные конвейеры для RelBench и SAP SALT, включая инструкции по выборке связанных таблиц для каждой сущности, можно найти в разделе реляционных примеров библиотеки.
Чтобы запустить модель в качестве отдельного сервиса, разверните ее как NVIDIA NIM и обратитесь к ней из своего ноутбука с помощью открытого исходного кода structured-data-models-client. Вы пишете предсказание на языке PQL, а клиент собирает контекстные примеры и связанные таблицы, после чего отправляет запрос:
Примеры сквозных запусков для локального NIM и на платформе Databricks см. в ноутбуках с примерами для клиента.
Начало работы с NVIDIA Kumo Relational
NVIDIA Kumo Relational доступна уже сегодня. Ознакомьтесь с исследовательской статьей, изучите ноутбук для быстрого старта или начните делать предсказания на собственных данных. Код распространяется под лицензией Apache 2.0, а веса моделей — под Лицензионным соглашением OpenMDW версии 1.1. NVIDIA считает, что создание надежного ИИ (Trustworthy AI) — это общая ответственность, и мы установили правила и практики, способствующие разработке широкого спектра ИИ-приложений. При скачивании или использовании в соответствии с нашими условиями обслуживания разработчики должны взаимодействовать с поддерживающей командой модели, чтобы гарантировать, что данная модель отвечает требованиям для соответствующей отрасли и сценария использования, а также предотвращает непредвиденное ненадлежащее использование продукта. Пожалуйста, сообщайте о качестве модели, рисках, уязвимостях безопасности или вопросах, связанных с NVIDIA AI, here.
- Статья:
- Документация:
- Код: https://github.com/NVIDIA/structured-data-models
- PyPI: https://pypi.org/project/structured-data-models/
- Код клиента:
- PyPI клиента: https://pypi.org/project/structured-data-models-client/
- Веса: https://huggingface.co/nvidia/Kumo-Relational
- Ноутбук для быстрого старта:
Благодарности
Мы благодарим всю команду Kumo за неоценимую поддержку. Особая благодарность Джошу Пшибылко (Josh Przybylko), Ади Вадаскару (Adi Wadaskar), Хеме Рагаван (Hema Raghavan), Манушу Мурали (Manush Murali), Радже Рао Д.В. (Raja Rao DV), Кети Йовановской (Keti Jovanovska), Заку Драку (Zack Drach), Ване Йосифовскому (Vanja Josifovski), Мюнхвану Киму (Myungwhan Kim), Блажу Стояновичу (Blaž Stojanovič), Сиян Се (Siyang Xie), Алану Крумхольцу (Alan Krumholz), Эффи Фанг (Effy Fang), Абдулле Аль-Чихаби (Abdullah Al-chihabi), Дише Дубей (Disha Dubey), Девану Джонсону (Devan Johnson), Джозефу Оливейре (Joseph Oliveira), Анжеле Лю (Angela Liu), Михе Пелко (Miha Pelko), Ведаанту Джаину (Vedaant Jain), Салли Лю (Sally Liu), Александру С. Соколовскому (Aleksandar S. Sokolovski), Алексу Портеру (Alex Porter) и Рамоне Бендиас (Ramona Bendias).
