Оценка того, как агенты на базе ИИ справляются с повседневной работой в мокрой лаборатории

Наша миссия — гарантировать, что общий искусственный интеллект принесет пользу всему человечеству. Следуя этой миссии, мы хотим помочь ученым ускорить биологические исследования: от понимания болезней до разработки новых методов лечения. Чтобы агенты на базе ИИ могли вносить свой вклад, они должны надежно интерпретировать экспериментальные данные, с которыми ученые работают каждый день в мокрых лабораториях, где они проводят эксперименты с биологическими образцами. Повседневная работа в мокрой лаборатории связана с неудачными экспериментами, неоднозначными изображениями и противоречивыми наблюдениями. Существующие бенчмарки построены на основе графиков и изображений, отобранных для научных статей, и могут не учитывать эту неопределенность и требуемую отладку. Именно поэтому мы представляем BioBasicsBench — новый бенчмарк, разработанный совместно с Ligo, биотехнологической компанией, занимающейся дизайном ферментов, для оценки того, насколько хорошо агенты справляются с рутинным анализом в мокрой лаборатории.

Сто задач бенчмарка проверяют, способны ли агенты интерпретировать необработанные экспериментальные данные, выявлять ошибки и распознавать ситуации, когда имеющиеся данные не позволяют сделать вывод. Правильное решение этих задач имеет решающее значение, поскольку неверное чтение изображения или упущение проблемы с контролями, используемыми для проверки результатов эксперимента, может привести ученых к ошибочным выводам и трате времени на эксперименты, которые не помогут ответить на их вопрос.

При настройке «xhigh», которая позволяет задействовать больше рассуждений для каждой задачи, модель GPT‑6 Astra набрала в среднем 66,7% от максимально возможного балла по сравнению с 43,8% у GPT‑5.6 Sol. Результаты демонстрируют прогресс в рутинном лабораторном анализе, при этом остается пространство для дальнейших улучшений в интерпретации изображений, проверке контролей и применении экспериментального контекста.

О бенчмарке BioBasicsBench

BioBasicsBench использует необработанные экспериментальные данные: от изображений гелей и колоний до результатов микроскопии и показаний приборов.

BioBasicsBench включает 100 задач в пяти областях рутинной работы в мокрой лаборатории: методы работы с белками, визуализация и цитометрия, количественный анализ и анализы, методы работы с нуклеиновыми кислотами, а также молекулярное клонирование. Задачи варьируются от простых запросов, таких как чтение молекулярной массы образца ДНК в геле, до детального анализа анализов, но все они связаны с рутинной работой, которую ученые в мокрой лаборатории должны выполнять надежно.

Ученые создали задачи, используя данные собственных экспериментов, и сопоставили каждый вопрос с критериями оценки, составленными экспертами. Каждая задача прошла внутреннюю проверку ученым из компании Ligo, который ее не писал, внешнюю проверку ученым со степенью PhD, работающим в мокрой лаборатории, и финальную внутреннюю проверку.

Агенты выдают структурированный ответ с запрошенным выводом, измерением или рекомендацией и, где это необходимо, с обосновывающими рассуждениями. Ответы оцениваются по индивидуальным критериям рубрикатора, что позволяет бенчмарку отличать правильный вывод от частично правильного анализа. Большинство задач проверяют несколько навыков одновременно, включая биологические знания, интерпретацию изображений и других данных, обнаружение ошибок и понимание протоколов.

«Уникальные задачи» учитывают каждую задачу один раза. Столбцы навыков подсчитывают задачи с каждым тегом навыка. Эти категории пересекаются: одна задача может появляться в нескольких столбцах, поэтому количество навыков не следует суммировать для получения общего числа задач. Цветом обозначена область; более насыщенная штриховка указывает на то, что большая доля задач этой области проверяет определенный навык.

Входные данные сохраняют формы доказательств, с которыми работают ученые: изображения гелей и блотов, фотографии чашек Петри, стеки микроскопии, данные секвенирования, экспорты с ридеров планшетов и видео лабораторных работ. Задача может включать несколько типов данных. Справочные материалы, такие как графики маркеров (ладеров) и плазмидные карты, поддерживают интерпретацию экспериментальных данных.

Что предоставляется агенту

Тип данных

Задачи

Что это включает

Гели и блоты

Агарозные ДНК-гели, SDS-PAGE гели, Вестерн-блоттинги

Протоколы, заметки и спецификации

Протоколы и стандартные операционные процедуры (СОП), лабораторные журналы и записи экспериментов, сфотографированные рукописные заметки, каталоги, спецификации приборов, опубликованные методы

Таблицы и экспорты приборов

Экспорты в CSV и Excel, схемы лунок и описи, необработанные файлы проточной цитометрии (FCS)

Фотографии верстака, аппаратуры и реагентов

Лабораторные столы, штативы для гелей, пробирки с реагентами и культурами, ПЦР-планшеты, штативы для пробирок, индикаторные полоски pH, концентратор, морозильная камера, платформа автоматического дозатора жидкостей

Микроскопия

Необработанные изображения светлого поля и флуоресценции, многоканальные наборы, z-стеки, таймлапс-видео

Экраны приборов и графики

Фотографии экранов проточного цитометра, микроскопа, NanoDrop, ридера планшетов и весов; экспортированные стандартные кривые, хроматограммы и графики

Файлы секвенирования

Необработанные FASTQ длинных ридов, последовательности FASTA, карты GenBank

Видео протоколов

Высевание, инокуляция, серийные разведения, сборка аппаратов для SDS-PAGE и инкубаторов, взвешивание на весах

Чашки агара и колонии

Чашки для трансформации, сине-белый скрининг, чашки с дисками с антибиотиками

Справочные материалы

Графики маркеров, плазмидные карты, графики pH (вспомогательные материалы)

Количество задач, включающих каждый тип данных. Категории пересекаются; справочные материалы являются вспомогательными.

Ученые написали задачи, используя данные из собственных экспериментов, сопоставив экспериментальные данные с вопросом и разработанной экспертами системой оценки. Каждая задача прошла внутреннюю проверку ученым Ligo, который ее не писал, внешнюю проверку ученым со степенью PhD, работающим в мокрой лаборатории, и финальную внутреннюю проверку. Рецензенты проверили промпт, экспериментальные данные, систему оценки, заметки автора и оцененную попытку модели.

Ответы оцениваются по системе оценки задачи, которая начисляет баллы за отдельные критерии. В зависимости от задачи эти критерии оценивают вывод, числовые результаты, подтверждающие рассуждения или признание того, что доказательств недостаточно.

Результаты

Мы оценили семь моделей на бенчмарке BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna и GPT‑6 Astra. Оценка охватывает 37 настроек модели и глубины рассуждений с пятью попытками для каждой из 100 задач в каждой настройке, в общей сложности для 18 500 результатов.

Мы приводим среднюю награду: средний балл за задачу, выраженный в процентах от доступного балла. Пластинки погрешностей показывают 95-процентные доверительные интервалы, рассчитанные путем повторной выборки целых задач с сохранением пяти попыток для каждой задачи вместе.

Средняя награда против среднего количества токенов вывода на задачу, показанная в логарифмическом масштабе. Каждая точка представляет собой протестированную настройку рассуждений; линии соединяют эти настройки по порядку. Ось X удваивается при каждом делении. Штриховые оранжевые линии показывают модели GPT‑5, а сплошные синие линии показывают модели GPT‑6. Бледные «усики» показывают 95-процентные доверительные интервалы бутстрэпа для целой задачи. Каждая настройка включает все 100 задач и пять попыток на задачу. Настройки усилий различаются в зависимости от модели.

GPT‑6 Astra существенно превосходит GPT‑5.6 Sol даже при низких затратах на рассуждения. Этот прирост предполагает, что более мощные встроенные мультимодальные возможности могут стать ключом к улучшению производительности при повседневном анализе в мокрой лаборатории.

Производительность при высокой настройке рассуждений (xhigh)

Модель

Средняя награда

95% ДИ

Токены вывода / задача

GPT‑6 Astra

66,7%

60,3–73,1%

4 704

GPT‑6.1 Sol

62,0%

55,6–68,4%

5 238

GPT‑5.6 Sol

43,8%

37,6–50,0%

9 099

GPT‑6 Luna

38,3%

32,3–44,5%

13 120

GPT‑5.5

35,4%

29,7–41,0%

11 135

GPT‑5.4

33,2%

28,3–38,4%

13 717

GPT‑5.2

31,2%

26,2–36,3%

27 620

Xhigh — это наивысшая настройка глубины рассуждений, примененная для всех семи моделей. Каждая строка включает все 100 задач и пять попыток на каждую задачу. Результаты с максимальной глубиной усилий, где они доступны, приведены на графике выше.

Улучшения GPT‑6 Astra по сравнению с GPT‑5.6 Sol

Понимание того, что данные могут и не могут показать

Распространенная ловушка в науке — чрезмерная интерпретация данных, особенно с учетом предвзятости, которая возникает при проверке гипотезы. Astra продемонстрировала лучшую способность различать пределы того, что показывают данные, и не делать необоснованных выводов.

В этом примере GPT‑5.6 Sol классифицировала клетки как мертвые на основе сигнала от красителя, используемого для обнаружения мертвых клеток. Но детектор также мог улавливать свет от второго красителя, поэтому одна лишь яркость не могла служить основанием для такого вывода. Astra распознала эту двусмысленность и потребовала лучших контролей для разделения сигналов.

Те же клетки, три канала обнаружения

Светлопольное · переданный свет

Канал 2 · метка SYTOX · 470–540 нм

Канал 3 · зеленый FUN-1 · 525–580 нм

Те же области клеток в трех каналах; окна обнаружения перекрываются на длине волны 525–540 нм. Общее окно допускает помехи; их величина не измерялась. Каждый канал отображается в отдельной линейной шкале интенсивности, фиксированной для обеих областей; яркость нельзя количественно сравнивать между каналами.

Улучшенная обработка мультимодальных данных

Научные исследования крайне мультимодальны и требуют постоянной визуальной интерпретации и принятия решений. Astra продемонстрировала значительное улучшение в обработке мультимодальных данных, представленных в виде фотографий и видео, а также необработанных результатов секвенирования, планшетных анализов, микроскопии и проточной цитометрии.

На самом базовом уровне это улучшение было заметно по способности GPT‑6 Astra улавливать более мелкие детали на изображениях, полученных в ходе экспериментов, и, следовательно, делать более точные выводы, как показано в этом примере. В этой задаче агентам предлагалось сделать выводы из эксперимента по клонированию ДНК, где контроли имеют важнейшее значение. GPT‑5.6 Sol не увидела колоний на чашке с отрицательным контролем и сделала выводы на основе этого наблюдения. GPT‑6 Astra заметила, что чашка была подписана не тем антибиотиком, и правильно отклонила ее в качестве надежного контроля.

Оригинальная фотография

Метка на ободке

Оригинальная фотография из бенчмарка, на которой метка на ободке обведена и увеличена. «LB Kan50» обозначает канамицин — антибиотик, отличный от ампициллина, использованного в эксперименте.

Учет экспериментального контекста

Ученые должны уметь удерживать в памяти неявные биологические знания и экспериментальный контекст при анализе данных, чтобы правильно интерпретировать то, что они показывают. Astra продемонстрировала улучшенную способность сохранять этот контекст и применять его на протяжении всего анализа.

В одной из задач клетки то появлялись, то пропадали из фокуса в серии микроскопических изображений. В то время как GPT‑5.6 Sol искала биологическое объяснение кажущегося исчезновения клеток, GPT‑6 Astra правильно распознала z-стек: серию снимков, сделанных на разной глубине.

Изменение видимости при сканировании по глубине

0 с

3 с

6 с

9 с

12 с

15 с

Шесть кадров из исходной записи. Штриховые рамки отмечают ту же область по мере сканирования микроскопом на глубину. Время указано относительно позиции воспроизведения в предоставленном видео.

В чем модели все еще отстают

Более высокие баллы в бенчмарках еще не означают, что модели способны принимать надежные суждения в лабораторных условиях. Эти примеры с Astra показывают, как предположения, ожидаемые ответы и предоставленные метки могут превалировать над доказательствами, и как правильное промежуточное наблюдение может не привести к окончательному решению.

Позволить предположению преобладать над контролями

Astra позволяет знакомому предположению переопределить интерпретацию, поддерживаемую экспериментальными контролями. Она может различить две группы полос колоний, но предполагает, что более крупный продукт ПЦР будет указывать на успешное клонирование. Исходя из этого условия, она предлагает дорожки 4, 6, 7 и 8; контрольное сравнение в эталоне вместо этого выбирает дорожки 5, 9 и 10.

Эталон выбирает колонии 5, 9 и 10; Astra предлагает 4, 6, 7 и 8.

1: маркер · 2: смесь для клонирования · 3: исходная плазмида · 4–10: образцы колоний

• Дорожка 3 содержит только ПЦР исходной плазмиды. Ее полоса задает опорное положение старой плазмиды.

Дорожка 3 содержит только ПЦР исходной плазмиды. Ее полоса задает опорное положение старой плазмиды.

• В эталонной интерпретации дорожка 2 содержит оба паттерна: неполная сборка оставляет старый шаблон/остов вместе с новым продуктом.

В эталонной интерпретации дорожка 2 содержит оба паттерна: неполная сборка оставляет старый шаблон/остов вместе с новым продуктом.

• Полученные колонии могут нести старую или новую плазмиду. Сравните их полосы с этими эталонными паттернами.

Полученные колонии могут нести старую или новую плазмиду. Сравните их полосы с этими эталонными паттернами.

Эталонный выбор: 5, 9 и 10

Выбор Astra: 4, 6, 7 и 8. Astra выдвигает эту группу, предполагая, что более крупный продукт ПЦР представляет собой желаемый конструкт.

Визуальная группировка верна, но экспериментальные идентификаторы, привязанные к этим группам, инвертированы по отношению к эталону. В результате Astra выбирает неправильные колонии из результатов колониевой ПЦР, что приведет к последующей очистки неправильной плазмиды.

Игнорирование данных, противоречащих предпочитаемой интерпретации

Astra игнорирует наблюдения, которые противоречат ее предпочитаемой интерпретации. Она приходит к выводу, что вакуоли (компартменты внутри клеток) обычно темнее окружающего пространства, хотя некоторые из них на том же изображении выглядят светлее. Оба проявления имеют значение: изменение фокуса микроскопа может обратить контраст вспять, поэтому более темные примеры не устанавливают общее правило.

Более темный вид

Более светлый вид

Обобщение Astra о более темных вакуолях упускает из виду более светлые вакуоли, видимые в том же поле зрения.

Некоторые клетки имеют противоположный контраст. Оба проявления возникают потому, что разная глубина фокуса может обратить контраст вспять.

Astra исследует несколько областей и даже отмечает, что контраст меняется в зависимости от фокуса. Затем она уделяет больше внимания клеткам, которые считает лучше сфокусированными, и сохраняет в окончательном ответе описание только их более темных вакуолей. Противоречащие им более светлые области были изучены, но не учтены в выводе.

Ошибки при подсчете колоний в рутинном лабораторном измерении

Метки подсчета Astra ненадежно соответствуют отдельным колониям: она не может разрешить близко расположенные объекты, пропускает видимые колонии и отмечает пустой агар. Конечным результатом на этой чашке является пересчет примерно на 12% по сравнению с эталоном бенчмарка.

А. Близко расположенные колонии

Оригинальное изображение

Метки подсчета Astra

B. Видимые колонии остались без отметок

Оригинальное изображение

Метки подсчета Astra

C. Пустой агар засчитан как колония

Оригинальное изображение

Метки подсчета Astra

A: одна метка подсчета между соседними колониями. B: две видимые колонии остались без отметок. C: пустой агар засчитан как колония. Красные кружки обозначают позиции подсчета Astra. Черные стрелки служат редакторскими подсказками.

Неточный подсчет колоний напрямую влияет на оценку эффективности доставки ДНК в клетки. При фиксированном объеме высева и разведении завышение результатов подсчета увеличивает эту оценку пропорционально.

Создание надежного помощника для лабораторий

Ускорение биологических исследований требует безупречного выполнения рутинных задач. BioBasicsBench делает такие задачи объектом для совершенствования: интерпретацию сырых экспериментальных данных, проверку контролей и определение моментов, когда вывод не подтвержден фактами. Прогресс в решении этих задач может помочь ученым тратить меньше времени на устранение неполадок и больше времени на выбор следующих экспериментов. Отслеживание этих возможностей также поможет нам понять их значение для биобезопасности и биозащиты.