Суждение о информации
Превзойти рынок сложно. Когда у каждого инвестора есть доступ к тем же источникам публичной информации, альфа должна исходить от уникального понимания, основанного на вкусе и суждении. Сильное суждение инвестора сложно сформулировать и напрямую преподать другим, будь то человек или ИИ. Оно исходит от опыта.
Даже когда мы разбиваем работу инвестора на ее самые простые составляющие задачи, эти задачи оказываются удивительно сложными для LLM. В этом посте мы рассматриваем простой специальный случай: фильтрацию и обработку финансовых документов для извлечения информации, релевантной инвестиционным решениям.
Инвесторы ежедневно подвергаются бомбардировке информацией: новостные статьи, исследовательские отчеты, корпоративные документы, электронные письма, внутренние записки и многое другое. Чтение — это простая часть. Настоящая работа — это мелкие, повторяющиеся суждения, которые осуществляются над ней: фильтрация, интерпретация, сегментация и определение того, где находится полезный сигнал. Эти суждения встроены в повседневный рабочий процесс инвестора и занимают значительное время.
Мы хотели узнать, можем ли мы автоматизировать задачу сортировки информации: определять, что релевантно и интересно для чтения. Это само по себе могло бы значительно повысить производительность инвесторов, позволив им потратить освободившееся время на более высокий уровень синтеза и принятия решений.
Учитывая, что LLM плохо справляются с простыми финансовыми задачами, мы задались вопросом: можно ли научить LLM финансовому суждению? Мы обнаружили, что с помощью высококачественных аннотаций человека мы можем научить LLM интерпретировать текст с экспертным вкусом и суждением. Наша собственная модель превосходит все тестируемые нами флагманские модели по точности и полноте информации при значительно меньшей стоимости.
Мы описываем наш процесс обучения и результаты на подмножестве данных, разрешенных для публичного распространения. На основе наших результатов мы далее описываем зачатки концепции дифференцированного интеллекта, где модели настроены на конкретные организационные потребности.
Производительность флагманских моделей
Мы оценили модели по шести задачам фильтрации информации, взятым из повседневного рабочего процесса инвесторов. Помимо этих задач, у нас есть многие другие внутренние задачи, которые демонстрируют аналогичные модели поведения этим шести задачам: флагманские модели, которые мы тестировали, показали худшие результаты по сравнению с нашими внутренне обученными моделями.
Мы измеряли точность — процент документов, которые были правильно помечены по мнению наших инвесторов. Для задач классификации мы также рассчитали показатель F1.F-score (Википедия).
Релевантность финансовой статьи
Учитывая финансовую статью, определите, является ли она релевантной для инвестиционного специалиста топ-менеджера.
МЕТРИКИ ОЦЕНКИ
Показатель F1, Точность
Релевантность документа центрального банка
Учитывая документ центрального банка, определите, сигнализирует ли он о направлении будущих изменений процентных ставок.
МЕТРИКИ ОЦЕНКИ
Показатель F1, Точность
Релевантность общего документа
Учитывая вопрос инвестора и исследовательский документ, определите, помогает ли документ ответить на него.
МЕТРИКИ ОЦЕНКИ
Показатель F1, Точность
Маркировка контента ad hoc
Исследовательские документы бывают либо повторяющимися (повторяющийся шаблон), либо смешанными (шаблон плюс разовое, специфическое для проблемы исследование). Определите, к какому типу они относятся, и найдите последнюю страницу специфического для проблемы контента.
МЕТРИКИ ОЦЕНКИ
Точность
Обрезка документа
Определите, где в документе начинается шаблонный контент.
МЕТРИКИ ОЦЕНКИ
Точность точного совпадения
Обрезка электронной почты
Определите, где в электронной почте начинается шаблонный контент.
МЕТРИКИ ОЦЕНКИ
Точность точного совпадения
Эти задачи тривиальны для инвесторов, но они сталкиваются с трудностями, когда пытаются сформулировать свой процесс принятия решений. Рассмотрите следующий пример классификации новостной статьи как релевантной для инвестиционного специалиста ниже:
Не релевантно
Трамп настаивает, что Гренландия принадлежит ему
Релевантно
Акции США резко падают после того, как Трамп пригрозил новыми пошлинами против Китая
Самое большое однодневное падение S&P 500 с апреля прекращает недельный рост © AFP/Getty Images
Пример с Гренландией вряд ли будет воспринят серьезно с учетом контекста статьи, в то время как пошлины против Китая крайне релевантны. Однако оба примера затрагивают геополитику и финансы.
В отличие от наших инвесторов, флагманские модели, которые мы тестировали, показали удивительно плохие результаты. Варианты Gemini, Claude и GPT в среднем показали всего около 50% точности, когда им давался запрос, который просто перечислял каждую из шести задач, которые нужно выполнить.
Сначала мы попытались улучшить производительность LLM с помощью более сильных подсказок. Наши эксперты написали инструкции на основе реальных описаний задач, а также предложили переформулировать некоторые задачи. Например, хотя статья о небольшом IPO явно финансово релевантна, она не имеет широкого значения, которое сделало бы ее интересной для макроэкономического инвестора в Bridgewater. Производительность LLM в задаче классификации статей улучшилась, когда их просили сортировать новостные статьи по трем меткам: релевантно и интересно, релевантно, но неинтересно, и нерелевантно.
Эти изменения повысили их точность с уровня случайного выбора до середины 70-х. Мы не увидели дальнейшего повышения точности с помощью методов автоматической оптимизации подсказок. С нашими лучшими подсказками флагманские модели, которые мы тестировали, все еще достигали менее 80% точности — порог, которого ожидают инвесторы от системы, которой они могут доверять в своем повседневном рабочем процессе.
47,2
77,2
50,1
74,3
47,2
75,8
48,5
78,2
45,6
78,0
Наши результаты также показывают, что новые модели не улучшаются быстро в этой задаче, особенно с точки зрения затрат. GPT 5.4 стоит на 43% больше, чем 5.2, но его точность лишь немного выше.
Явная подсказка может передать только интуицию, которую эксперт может сформулировать словами, в то время как суждения, которые имеют наибольшее значение, часто труднее всего сформулировать. Финальная настройка обходит это: вместо того, чтобы искажать интуицию эксперта в статическую подсказку, процесс обучения позволяет модели развивать свое собственное суждение. Можем ли мы обучить модели с открытым весом так, чтобы они превзошли флагманские модели, которые мы тестировали в этих задачах?
Построение обучающего набора данных
Первая проблема обучения пользовательской модели заключалась в получении набора данных, который отражает высококачественный вкус инвестора. В частности, большая часть информации полезна только при фильтрации через суждение инвестиционного специалиста.
Первоначально мы получили набор данных от поставщиков, предоставляющих маркировку непрофессионалов. Модели, обученные на этом наборе данных, все еще показывали плохие результаты. После изучения следов рассуждений модели мы поняли, что метки в наборе данных часто были неверными. Поскольку экспертные маркировщики дорогостоящи, мы разработали схему верификации, которая направляет только спорные примеры экспертам.
Схема работала следующим образом: мы обучили модель на наборе данных от непрофессиональных маркировщиков, затем оценили ее на тех же данных. Примеры, где ответ модели отличался от ответов маркировщиков, отправлялись нашим экспертам для повторной оценки — если модель не могла сопоставить пример из своего собственного обучающего набора, то либо пример действительно сложен, либо исходная метка была неверной. Эта процедура использовалась для очистки данных обучающего набора; окончательная оценка проводилась на выделенном тестовом наборе.
Рецепт обучения
Мы обучали наши модели на Tinker от Thinking Machines Lab. Tinker позволил нам быстро итеративно работать, не беспокоясь о GPU-инфраструктуре.
Мы выбрали модель Qwen3-235B в качестве базовой, поскольку её результаты тонкой настройки широко изучены в научной литературе.
Мы начали с базового подхода, используя стандартный алгоритм GRPO и функцию потерь на основе важности, что позволило нам обойтись без критика. Этот метод значительно улучшил производительность модели, но всё ещё не достиг желаемого порога в 80%.
Чтобы ещё больше повысить эффективность, мы внесли следующие изменения в процесс обучения:
1. Перемежающаяся пакетизация
Для нашего многозадачного подхода к обучению мы сравнили три стратегии пакетизации: последовательное обучение каждой задачи, полное смешивание задач в пакете и перемежающаяся пакетизация по одному пакету на задачу в порядке круговой очереди. Мы обнаружили, что перемежающаяся пакетизация работает лучше, повышая точность на 12,1% по сравнению с полностью смешанными пакетами.
2. Функция потерь CISPO с асимметричным клиппингом
Мы использовали функцию потерь CISPO с асимметричным клиппингом (архив arXiv) для замены стандартной функции потерь на основе важности. Из всех функций потерь и схем клиппинга, которые мы пробовали, эта показала лучшие результаты, повысив точность на 10,1% по сравнению с базовым вариантом на основе важности.
3. Он-полиси дистилляция с сильными учителями
Мы используем он-полиси дистилляцию (On-Policy Distillation, Kevin Lu и соавт., Thinking Machines) (OPD), конструктируя преимущество следующим образом:
Награда штрафуется, когда ученик отклоняется от распределения учителя, что позволяет регулировать политику во время обучения задаче.
Каждые 20 шагов мы продвигаем текущий чекпоинт до учителя, но только если точность валидации достигла нового максимума, чтобы избежать дистилляции к более слабой модели. Это дало дополнительный прирост в 3,1% по сравнению с замороженным базовым модельным учителем.
Результаты
Поиск оптимального метода обучения потребовал нескольких итераций различных подходов. Доступность Tinker позволила нам проводить быстрые эксперименты и совершенствовать наш метод.
Наша обученная модель повышает среднюю точность с 78,2% до 84,7%, что означает, что она совершает на 29,8% меньше ошибок, чем лучшая фронтирная модель, которую мы оценивали. Мы считаем, что этот уровень точности достаточен для нашей повседневной работы.
Наша обученная модель также значительно дешевле благодаря своему меньшему размеру: затраты на инференс на задачу сократились в 13,8 раза. Поскольку мы планируем использовать больше моделей, обученных для помощи в конкретных задачах, и масштабировать ИИ по всей организации, стоимость является важным фактором.
Мы провели абляцию каждой части нашего метода обучения, чтобы показать, как каждая компонента влияет на производительность.
Заключение
Фронтирные модели, которые мы тестировали, испытывают трудности с относительно простыми финансовыми задачами, и достижения моделей не сильно улучшают производительность. В отличие от этого, мы показали, что высококачественные собственные датасеты, помеченные экспертными инвесторами и используемые для тонкой настройки, позволяют создавать пользовательские модели, которые превосходят фронтирную производительность в наших задачах. Мы обнаружили, что этот результат верен далеко за пределами шести задач, о которых мы говорили в этом посте.
Помимо более высокой точности, пользовательские модели также значительно дешевле. Мы ожидаем увидеть больше приростов производительности от обучения пользовательских моделей в будущем, особенно с доступностью инфраструктуры обучения, такой как Tinker, которая позволяет проводить быстрые эксперименты.
Наши результаты показывают возможность будущего дифференцированного интеллекта, где пользовательские модели, настроенные на конкретные организационные потребности, превосходят фронтирные модели.
Цитирование
Пожалуйста, цитируйте эту работу следующим образом:
Или используйте цитирование в формате BibTeX:
