- Модель Muse Glimmer 30B доступна для бесплатного обучения с помощью контролируемой донастройки (SFT) до 30 ноября, что дает старт нашему клубу Free Weights Club.
- Донастроенная Muse Glimmer превзошла Jev на 11,2 процентных пункта по точности прогнозирования на неизвестных темах, достигнув 58,3% против 47,1%. В историческом бэктесте она также превратила гипотетические 1000 долларов в 1071 доллар после учета модельных торговых комиссий, в то время как и Jev, и базовая Glimmer потеряли деньги.
- Оптимизированный стек обслуживания System One от Fireworks обеспечил в 2–3 раза более быструю медианную обработку на сервере по сравнению со стандартными завершениями чата BF16 в отдельном синтетическом тесте. В обоих случаях использовались один и тот же адаптер и один графический процессор B200; точность и время выполнения различались.
- Попробуйте наш эксперимент с помощью кулинарной книги Kalshi. Для ваших собственных проектов Managed Training выполняет задание SFT на основе ваших примеров, а Serverless Training API дает вам контроль над циклом обучения.
Добро пожаловать в Fireworks Free Weights Club. В течение ограниченного времени мы будем предлагать вам новые исследования по пост-тренировке, рецепт, на основе которого вы сможете строить свои решения, и бесплатное обучение на избранной модели, чтобы вы могли проводить собственные эксперименты.
Первая на очереди: Muse Glimmer 30B, с бесплатным обучением SFT до 30 ноября. Она мультимодальна, предлагает высокую производительность при низкой стоимости и является отличной отправной точкой для персональных агентов.
Для нашего первого эксперимента мы задались вопросом, может ли обучение Muse Glimmer на исторических рынках Kalshi дать ей преимущество в прогнозировании результатов. Мы оценили ее прогнозы в сравнении с Jev и исходной моделью на рынках, исключенных из обучающей выборки.
Мы называем версию, которую мы обучили, «донастроенной Glimmer» (tuned Glimmer), а исходную модель — «базовой Glimmer» (base Glimmer). Донастроенная Glimmer опередила обе сравниваемые модели по точности прогнозирования. В историческом бэктесте она превратила гипотетические 1000 долларов в 1071 доллар после учета модельных комиссий, тогда как обе сравниваемые модели потеряли деньги.
Вот что мы обучили, как мы это протестировали и как вы можете попробовать это самостоятельно.
Начните обучение бесплатно.
Jev предоставила нам модель, которую нужно было превзойти; Kalshi предоставила нам способ вести счет.
Завершенные рынки имеют ключ к ответу: возьмем вопрос «Превысит ли максимум в Нью-Йорке 80°F?». Как только рынок закрывается, появляется результат, с которым можно сверить прогноз. Задача состоит в том, чтобы извлечь знания, которые можно применить к следующему вопросу.
Каждый пример содержал название рынка, описание, правила и дату, а завершенный результат служил меткой. Модель не видела рыночных цен или новостей.
Мы разделили обучение, калибровку и оценку:
- Обучение: 20 051 вопрос из 6 461 события, которые завершились до 4 января 2026 года.
- Калибровка: 6 232 вопроса из 2 000 событий, которые открылись 11 января или позже и завершились до 1 апреля 2026 года.
- Оценка: 33 712 вопросов из 8 765 событий, которые открылись 8 апреля 2026 года или позже.
Внутри оценочного набора 3 567 вопросов относились к 113 тематическим семействам, исключенным как из обучения, так и из калибровки. Мы представляем результаты для полного тестового набора и этой подвыборки неизвестных тем, чтобы изучить, насколько хорошо Glimmer справилась с более поздними событиями и незнакомыми темами.
Мы удалили почти дублирующиеся входные данные, правки правил, сделанные после открытия рынков, и добавленные позже выигрышные варианты, которые могли раскрыть результаты. Каждое тестовое событие оценивалось один раз.
Эти вопросы уже имеют меню возможных ответов. Мы использовали Fireworks Training API с функцией потерь K-way cross-entropy, чтобы обучить Glimmer присваивать более высокую вероятность правильному результату. Функция потерь учитывает только варианты ответов для конкретного вопроса, а не весь словарный запас модели.
Мы обучили адаптер LoRA с использованием SFT за один проход по обучающим данным.
На полном тестовом наборе донастроенная Glimmer достигла точности 64,8% по сравнению с 56,4% у базовой Glimmer и 45,9% у Jev.
По неизвестным темам донастроенная Glimmer достигла 58,3%, опередив базовую Glimmer с 53,2% и Jev с 47,1%. Это ставит ее на 11,2 процентных пункта впереди Jev по семействам тем, с которыми она не сталкивалась во время обучения.
Эталонный метод «общих ответов» всегда выбирает «Нет» для вопросов «да/нет» и наиболее частую позицию правильного ответа для вопросов с множественным выбором. Он использует ответы из оценки для установления этого эталона, поэтому он обеспечивает контекст, а не представляет собой обученный предиктор.
Прогноз 51% и прогноз 90% могут оба указывать на «Да», но мы хотели бы относиться к этим сигналам по-разному. Прежде чем использовать вероятности донастроенной Glimmer для выбора и определения размера ставок, мы откалибровали ее уверенность относительно наблюдаемых результатов.
Мы подобрали отдельную температуру калибровки для каждого типа вопроса, используя отложенный набор для калибровки. Это пересчитывает вероятности донастроенной Glimmer без переобучения ее весов. Цель: прогнозы, которым присвоена вероятность 80%, должны сбываться примерно в восьми случаях из десяти.
Только донастроенная Glimmer прошла этот этап калибровки, базовая Glimmer не получила ни специфического обучения, ни калибровки. Мы использовали вероятности Jev напрямую из ее API без дополнительной калибровки, что соответствует ее предполагаемому использованию «из коробки».
На графике показана точность минус уверенность на данных оценки. Чем ближе к нулю, тем лучше; отрицательные значения указывают на излишнюю самоуверенность, а положительные — на недостаточную уверенность.
Уверенность донастроенной Glimmer была не просто бравадой. Когда она присваивала ответу вероятность не менее 80%, она оказывалась права в 86,8% случаев, как по всему тесту, так и внутри подвыборки неизвестных тем.
Она также была избирательна: 14,4% вопросов полного теста и 6,1% вопросов по неизвестным темам преодолели этот порог. Фильтрация по уверенности дала нам меньше прогнозов, но гораздо более высокий уровень попаданий.
В этих уверенных прогнозах есть закономерность. Многие из них были ответами «Нет» на связанные пороговые вопросы, например, превысит ли значение 100, 110 или 120. Эти результаты часто движутся вместе, поэтому правильные прогнозы не являются полностью независимыми успехами.
Уверенный прогноз все равно требует выгодной цены. Если ставка приносит 1 доллар при выигрыше, а модель оценивает вероятность выигрыша в 80%, ожидаемая выплата составляет 80 центов. Наше правило требовало, чтобы цена покупки плюс модельные комиссии были как минимум на 5 центов ниже этой оценки.
Мы дали каждой модели 1000 долларов в гипотетических деньгах для распределения между подходящими ставками. Каждая модель использовала одно и то же правило и один и тот же набор доступных исторических котировок. Результат должен был иметь более чем 50% прогнозируемую вероятность выигрыша, а более высокие вероятности получали большие ассигнования.
Мы использовали последнюю завершенную почасовую котировку bid/ask в момент или до двух часов после открытия каждого рынка. Модели никогда не видели этих цен; мы использовали их позже, чтобы решить, какие ставки подходят.
Ассигнования донастроенной Glimmer составили 1071 доллар (+7,1%) по сравнению с 950 долларами у базовой Glimmer (−5,0%) и 919 долларами у Jev (−8,1%) после учета модельных торговых комиссий. Мы были рады, что последние два убытка остались гипотетическими.
Бэктест распределял фиксированный бюджет между историческими ставками, включая перекрывающиеся, а не имитировал реинвестирование денежных средств с течением времени. Он допускал дробные контракты и не моделировал ликвидность, проскальзывание или исторические изменения комиссий.
Насколько результат зависел от того, какие именно события попали в тест? Мы оценили неопределенность путем повторной выборки целых событий, сохраняя связанные ставки вместе. 90%-й доверительный интервал для настроенной модели Glimmer составил от +1,6% до +12,4%.
Только на неизученных темах отдельное распределение в 1000 долларов принесло 15,2%, но его более широкий интервал от −2,9% до +33,5% все еще включал убытки. Эти интервалы отражают вариативность между событиями, а не все источники неопределенности при выборе модели или исполнении сделок.
У нас есть причина продолжать тестирование. Сохранится ли результат при работе с реальными деньгами — остается открытым вопросом.
Для этой задачи нам требовались вероятности для фиксированного набора ответов. Генерация письменного ответа добавляла лишнюю работу, которую мы могли пропустить.
API System One от Fireworks считывает вероятности опционов напрямую, без генерации текста ответа. Он также объединяет несколько вопросов об общем контексте в один запрос. Каждый вопрос может использовать этот контекст, не обращая внимания на другие ветки вопросов, поэтому мы можем повторно использовать контекст, сохраняя решения независимыми.
В отдельном синтетическом тесте System One обеспечил в 2-3 раза более быструю медианную обработку на сервере, чем стандартные чат-комплиты BF16, при использовании того же адаптера и одного графического процессора B200. При 16-32 вопросах на запрос он выдавал до 3,6 раз больше решений в секунду.
Точность и время выполнения различались, поэтому эти результаты сравнивают полные стеки обслуживания. Этот тест отделен от сравнения Kalshi с Jev.
В руководстве содержатся инструкции по обслуживанию обученной модели через /inference/v1/systemone.
Вам не обязательно иметь амбиции в трейдинге, чтобы попробовать это. Ваш первый эксперимент может начаться с ошибки, которую вы исправляли слишком много раз.
Может быть, ваш агент постоянно выбирает не тот инструмент. Если вы сохраняете его запуски, успешные вызовы и исправленные ошибки могут стать примерами для SFT. Обучайтесь на одних, тестируйте на других и смотрите, стали ли вы реже совершать это исправление.
Попробуйте эксперимент с Kalshi самостоятельно. Руководство включает код, результаты оценки и методологию, а также пошагово проводит вас через эксперимент с использованием Training API.
Для вашего собственного эксперимента:
- Позвольте Fireworks выполнить задачу. Загрузите свои примеры в Managed Training и начните работу в приложении или через API.
- Контролируйте свой цикл обучения. Используйте Serverless Training API, чтобы написать собственный цикл SFT.
- Заставьте своего агента по программированию работать. Установите навыки обучения Fireworks с помощью руководства Agent Skills, а затем опишите, чему вы хотите обучить.
Обучение Muse Glimmer 30B с помощью SFT бесплатно до 30 ноября, кредитная карта не требуется. Инференс, включая вызовы для оценки, оплачивается отдельно.
