Авторы: Бурак Гектюрк (Burak Gokturk), вице-президент по исследованиям и разработкам; Руджун Хан (Rujun Han), научный сотрудник; Джордж Ли (George Lee), менеджер по продукту.
Сегодня команда Google AI & Infrastructure объявляет о запуске Physical-Engineering's Last Exam (PLE) — нового бенчмарка и открытого соревнования, разработанного в сотрудничестве с Mercor для проверки способности передовых моделей выполнять задачи в области механического, электрического, гражданского и строительного проектирования.
Чтобы помочь исследовательскому сообществу оценивать и улучшать работу агентов с физическими инженерными задачами, мы выпускаем 29 публичных задач, инструменты их оценки и таблицу лидеров открытого соревнования на ple-bench.com.
Передовые лаборатории и широкое исследовательское сообщество используют экзамены для моделей, чтобы проверить прогресс ИИ в решении задач в определенной дисциплине. Humanity's Last Exam измеряет общие знания модели. Agents' Last Exam измеряет способность модели выполнять цифровую профессиональную работу. Physical-Engineering's Last Exam (PLE) измеряет способность модели выполнять работу, помогающую строить материальный мир. Инженеры-физики проектируют небоскребы, электросети и компьютерные чипы, от которых мы зависим, однако мы не смогли найти ни одного существующего бенчмарка, который проверял бы, способны ли передовые модели выполнять эту работу от начала до конца.
Почему учебные бенчмарки не подходят для физической инженерии
Языковые модели нового поколения теперь набирают более 90% во многих академических бенчмарках. Тем не менее, эти бенчмарки в основном проверяют вопросы в стиле учебников, вызовы одиночных инструментов или небольшие изолированные задачи проектирования. Для разработчиков и исследователей ИИ, создающих агентов для физической инженерии, существующие бенчмарки не показывают, может ли агент создавать безопасные, соответствующие нормам и экономически эффективные проекты под надзором и контролем лицензированного инженера. Поскольку спрос на развитие инфраструктуры опережает финансирование, растет возможность для агентов оказывать поддержку инженерам, работающим над сокращением этого разрыва.
Внутри PLE: реальные задачи, созданные практикующими инженерами
PLE устраняет этот пробел в оценке с помощью 85 долгосрочных задач в четырех ключевых дисциплинах: механическое (30 задач), электрическое (27 задач), гражданское (18 задач) и строительное (10 задач) проектирование.
Вместо ответа на один промпт агент работает внутри контейнеризированной папки проекта, созданной на основе среды Archipelago от Mercor, которая повторяет то, что практикующий инженер получает на рабочем месте. Каждая задача содержит в среднем 61 файл (всего 5170 файлов в бенчмарке), включая PDF-документы, электронные таблицы, электронные письма, 2D-чертежи САПР, 3D-модели BIM и редакции документов. Агент должен проанализировать эти файлы, найти действующие строительные нормы и физические ограничения, выполнить расчеты и сформировать готовые к сдаче материалы, которые лицензированный рецензент может проверить и одобрить.
В сотрудничестве с экспертами из Mercor и лицензированными практикующими инженерами из индустрии мы создали PLE двумя методами:
- Задачи, созданные экспертами (44 задачи): практикующие инженеры создали папки проектов, промпты и критерии оценки на основе реальных профессиональных инженерных задач.
Задачи, созданные экспертами (44 задачи): практикующие инженеры создали папки проектов, промпты и критерии оценки на основе реальных профессиональных инженерных задач.
- Задачи, созданные в соавторстве (41 задача): практикующие инженеры разработали первоначальную задачу, а конвейер агентов собрал среду задачи и оценщик из стандартов инженерного проектирования, допускающих лицензирование. Затем инженеры проверили и повысили сложность каждой задачи, собранной агентом.
Задачи, созданные в соавторстве (41 задача): практикующие инженеры разработали первоначальную задачу, а конвейер агентов собрал среду задачи и оценщик из стандартов инженерного проектирования, допускающих лицензирование. Затем инженеры проверили и повысили сложность каждой задачи, собранной агентом.
Все передовые модели набирают менее 50%
Мы протестировали 14 передовых моделей на PLE, используя семь общедоступных сред для агентов (Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands и Pi). Поскольку PLE оценивает как соответствие нормам кодов, так и экономическую эффективность, агенты зарабатывают баллы только в том случае, если их проект сначала проходит каждую жесткую проверку безопасности. Наши базовые результаты показывают большой разрыв между текущими моделями и требованиями реального проектирования:
- Широкие возможности для роста: все передовые модели набирают менее 50% на нашем частном тестовом наборе, причем модель с наилучшими показателями на своей собственной среде достигает среднего балла 48,3%.
Широкие возможности для роста: все передовые модели набирают менее 50% на нашем частном тестовом наборе, причем модель с наилучшими показателями на своей собственной среде достигает среднего балла 48,3%.
- Жесткие ограничения безопасности: в то время как конфигурация агента с наивысшим баллом удовлетворила 91% отдельных ограничений по задачам, созданным в соавторстве, только 41,3% его результатов прошли каждую жесткую проверку безопасности и применимости.
Жесткие ограничения безопасности: в то время как конфигурация агента с наивысшим баллом удовлетворила 91% отдельных ограничений по задачам, созданным в соавторстве, только 41,3% его результатов прошли каждую жесткую проверку безопасности и применимости.
- Влияние модели по сравнению со средой: выбор модели влияет на производительность гораздо сильнее, чем среда (разброс до 50 баллов между моделями по сравнению со средним разбросом в 3 балла между средами для одной и той же модели), хотя среды существенно влияют на стоимость запуска.
Влияние модели по сравнению со средой: выбор модели влияет на производительность гораздо сильнее, чем среда (разброс до 50 баллов между моделями по сравнению со средним разбросом в 3 балла между средами для одной и той же модели), хотя среды существенно влияют на стоимость запуска.
Проверьте своего агента и присоединяйтесь к открытому соревнованию
Оценка ИИ-агентов на основе реалистичных файлов проектов, строгих правил безопасности и затрат на материалы — это практический шаг к созданию полезных инструментов для инженеров-физиков. Вот как вы можете начать работу с PLE уже сегодня:
- Ознакомьтесь с подробным техническим описанием в нашей статье по PLE на arXiv.
Ознакомьтесь с подробным техническим описанием в нашей статье по PLE на arXiv.
- Загрузите 29 публичных задач, сценарии оценки и контейнер оценки из нашего репозитория на GitHub.
Загрузите 29 публичных задач, сценарии оценки и контейнер оценки из нашего репозитория на GitHub.
- Используйте свою собственную настройку агента и отправьте ее на оценку по нашему закрытому тестовому набору на — 13 моделей при поддержке Google работают бесплатно на наших серверах, а информация о призах появится в ближайшее время.
Используйте свою собственную настройку агента и отправьте ее на оценку по нашему закрытому тестовому набору на — 13 моделей при поддержке Google работают бесплатно на наших серверах, а информация о призах появится в ближайшее время.
- ИИ и машинное обучение
