Мы представляем MedChemBench — бенчмарк, который оценивает модели ИИ на основе задач на рассуждение, взятых из исследований по медицинской химии. Он проверяет, способны ли модели сопоставлять структуру молекулы с экспериментальными данными для объяснения результатов, сравнения соединений и прогнозирования их свойств. Создание ИИ, способного надежно поддерживать эту работу, — это шаг к тому, чтобы помочь ученым разрабатывать более эффективные лекарства.
Одна из самых сложных задач в этой области заключается в том, что улучшение одного свойства молекулы может ухудшить другое. Соединение может сильно действовать на белок, связанный с заболеванием, но плохо всасываться или слишком быстро разрушаться в организме. Медицинские химики справляются с этими компромиссами, проектируя, создавая и тестируя родственные соединения, а затем принимая решение о том, что делать дальше. Чтобы ИИ мог помочь, ему необходимо связывать изменения в молекулярной структуре с экспериментальными данными и рассуждать о том, какие соединения стоит исследовать дальше.
MedChemBench измеряет эти способности с помощью 99 задач, взятых из опубликованных научных работ. При настройке рассуждений xhigh модель GPT‑6.2 Astra набрала 84.5% от доступных баллов по сравнению с 83.3% у GPT‑6 Astra, 82.0% у GPT‑6.1 Sol и 58.2% у GPT‑5.6 Sol. Модель GPT‑6 Astra показала наилучшие результаты в реконструкции молекулярных структур и объяснении экспериментальных данных. Выбор соединений и прогнозирование их числовых свойств оказались более сложной задачей для этой модели.
Что оценивает MedChemBench
MedChemBench основан на 117 статьях и патентах и включает 761 уникальную молекулярную структуру. Для большинства задач модели получают контекст, доступный на определенном этапе исследовательской программы: биологическую мишень, цели исследователей, изученные к настоящему моменту соединения и выбранные экспериментальные результаты.
Бенчмарк оценивает четыре компонента:
- Молекулярные структуры. Корректные связи между атомами и заданная стереохимия в молекулах, собранных из предоставленных рисунков и химических групп.
Молекулярные структуры. Корректные связи между атомами и заданная стереохимия в молекулах, собранных из предоставленных рисунков и химических групп.
- Научные рассуждения. Объяснения, подтвержденные предоставленными данными, такие как причины выбора одного соединения вместо другого.
Научные рассуждения. Объяснения, подтвержденные предоставленными данными, такие как причины выбора одного соединения вместо другого.
- Ранжирование и выбор. Ранжирование соединений и варианты выбора, отвечающие заявленным требованиям.
Ранжирование и выбор. Ранжирование соединений и варианты выбора, отвечающие заявленным требованиям.
- Прогнозирование свойств. Соответствие числовым значениям и категориям, указанным в исходных материалах, включая измеренные и рассчитанные свойства молекул.
Прогнозирование свойств. Соответствие числовым значениям и категориям, указанным в исходных материалах, включая измеренные и рассчитанные свойства молекул.
Прогнозирование конкурирующих свойств
Одна из задач MedChemBench основана на исследованиях ингибиторов PRMT5, белка, изучаемого при разработке противораковых препаратов. Модель получает молекулярные структуры и результаты предыдущих экспериментов. Она должна предсказать, как поведут себя три родственных соединения: насколько сильно они блокируют PRMT5 в клетках, насколько легко они проникают через клеточный барьер и как быстро ферменты печени расщепляют их в лабораторном анализе.
Последующие эксперименты, скрытые от модели, выявили компромисс. Соединение 23 блокировало PRMT5 в клетках при меньшей концентрации, в то время как соединение 24 легче проникало через клеточный барьер и медленнее расщеплялось в анализе с ферментами печени.
Совместное прогнозирование этих свойств проверяет, способна ли модель связать молекулярные структуры с несколькими аспектами поведения соединений. Это отражает главную проблему медицинской химии: более высокая активность в отношении мишени не обязательно сопровождается лучшей проницаемостью или более медленным расщеплением.
Бенчмарк проверяет, правильно ли модель реконструирует молекулярные структуры и насколько ее прогнозы близки к экспериментальным измерениям. Прогнозы получают частичные баллы в зависимости от их близости к измеренным значениям. Измерения, уже предоставленные в промпте, также должны быть воспроизведены правильно.
Небольшие химические изменения могут привести к появлению других профилей свойств. Задача требует от моделей сопоставить структуры с данными об их поведении.
Тестирование пространственного мышления в медицинской химии
Прежде чем модель сможет рассуждать о свойствах соединения, ей необходимо правильно идентифицировать молекулу. Химические формулы кодируют межатомные связи, кольцевые структуры и стереохимию.
MedChemBench проверяет, сохраняют ли модели эту информацию при реконструкции молекул по предоставленным рисункам и химическим группам.
Одна из задач требует от моделей собрать молекулу из центральной структуры и двух присоединенных групп, сохранив при этом 18-атомное кольцо. При настройке максимальной глубины рассуждений, общей для всех одиннадцати моделей (xhigh), GPT‑6 Astra правильно реконструировала это соединение во всех десяти ответах. Модели GPT‑5.6 Sol и GPT‑5.6 Luna потерпели неудачу во всех десяти ответах.
В проиллюстрированных ответах GPT‑5.6 Sol создала 15-атомное кольцо, а GPT‑5.6 Luna разделила молекулу на два несвязанных фрагмента.
Эти ошибки изменяют идентичность анализируемой молекулы. Этот пример проверяет основы рассуждений в медицинской химии: способна ли модель точно представить соединение перед интерпретацией его поведения.
Рисунок 1. Тот же ввод, разные молекулы
Эти выбранные ответы для соединения 17 демонстрируют правильную реконструкцию, меньшее кольцо и несвязанные фрагменты.
При оценке структурных компонентов бенчмарка Astra набрала 95.4% от доступных баллов в режиме xhigh. Этот результат демонстрирует высокую эффективность в реконструкции молекулярных структур, предоставленных в задачах.
Мы оценили одиннадцать моделей GPT при различных настройках глубины рассуждений. По результатам всего бенчмарка Astra набрала 83.3% от доступных баллов при общем режиме xhigh по сравнению с 82.0% у GPT‑6.1 Sol, 75.1% у GPT‑6.1 Terra и 58.2% у GPT‑5.6 Sol. При максимальном уровне усилий GPT‑6 Astra достигла показателя 83.8%. Более высокие настройки рассуждений улучшили результаты, при этом сохранились значительные различия между моделями. На графике ниже показана зависимость производительности от токенов вывода.
Рисунок 2. Производительность по сравнению с использованием токенов
Каждая точка представляет модель с определенной настройкой рассуждений, показывая 51 комбинацию для девяти моделей, начиная с GPT‑5.6. Баллы усреднены по 99 задачам; полосы показывают 95-процентные интервалы неопределенности. Токены включают в себя процесс рассуждения и окончательный ответ.
Результаты по компонентам разделяют четыре способности: реконструкцию молекул, объяснение результатов, выбор соединений и прогнозирование измерений. Это показывает, в чем модели наиболее сильны, а где все еще остаются ошибки.
Рисунок 3. Производительность компонентов по сравнению с использованием токенов
Самыми сильными сторонами Astra оказались реконструкция молекулярных структур и объяснение научных данных. В выбранных примерах рассуждений из нашего препринта Astra правильно определила структурные изменения и взвесила их возможное влияние на связывание с белками, абсорбцию и метаболизм.
Там, где выбор и прогнозирование остаются сложными задачами, Astra заработала 95,4% доступного кредита за структуру на уровне xhigh, но лишь около половины кредита за выбор соединений и предсказание числовых свойств. В этих категориях используются разные задачи и правила оценки, однако результаты показывают значительный потенциал для улучшения прогнозов и подбора соединений.
Куда мы движемся дальше
Эти результаты не доказывают, способны ли модели открывать новые лекарства или улучшать лабораторные решения. Нельзя исключать предварительное знакомство с опубликованными источниками, и каждый ответ представлял собой одну попытку без использования инструментов, обратной связи или новых экспериментов. Хотя бенчмарк оценивает рассуждения на основе исторических данных, а не реального процесса разработки лекарств, его результаты помогают определить, где модели демонстрируют прогресс, а где сохраняются трудности. Мы верим, что MedChemBench послужит основой для дальнейшего продвижения и с нетерпением ждем возможности поделиться новостями по мере того, как наши модели будут совершенствоваться, чтобы приносить пользу этой сфере.











