Почему оценка моделей редактирования изображений одновременно критически важна и сложна
Редактирование изображений на основе текстовых инструкций становится ключевой возможностью мультимодальных базовых моделей. Пользователи могут все чаще редактировать изображения, просто описывая то, чего они хотят: «удали человека на заднем плане», «сделай машину красной» или «передвинь стул к столу».
Однако для команд, создающих такие модели, генерация более качественных изображений — это лишь половина задачи. Им также необходимо понимать, действительно ли модель становится лучше.
Разработка базовых моделей — это итеративный процесс:
Обучение → Оценка → Выявление сбоев → Улучшение → Повторное обучение
Оценка замыкает этот круг. Она необходима исследователям для сравнения контрольных точек (чекпоинтов), проверки новых стратегий обучения, обнаружения регрессий и принятия решений о том, что улучшать дальше.
В случае редактирования изображений оценка представляет особую сложность. Успешное редактирование должно точно выполнить запрошенное изменение, сохранить все то, что должно остаться неизменным, и поддержать высокое визуальное качество. При многошаговом редактировании модель также должна сохранять предыдущие изменения по мере поступления новых инструкций.
Эксперты-люди могут выявлять такие сбои, но ручная проверка тысяч результатов для разных моделей, контрольных точек, изображений и этапов редактирования — это медленный и дорогостоящий процесс. Существующие автоматизированные метрики также с трудом охватывают все эти требования с помощью единой оценки.
Это порождает закономерный вопрос:
Можем ли мы использовать ИИ-агентов для автоматизации оценки базовых моделей редактирования изображений?
EdiVal-Agent: автоматизация оценки с помощью агентного ИИ
В сотрудничестве с Техасским университетом в Остине, Калифорнийским университетом в Лос-Анджелесе (UCLA) и Microsoft исследователи из Lambda разработали EdiVal-Agent — фреймворк, который превращает оценку базовых моделей редактирования изображений в рабочий процесс агентного ИИ. Эта работа была принята в качестве доклада на конференцию ICLR 2026.
Вместо того чтобы просить одну модель оценить все отредактированное изображение целиком, EdiVal-Agent разбивает оценку на более мелкие, проверяемые задачи. Сначала он определяет семантически значимые объекты на изображении и интерпретирует инструкцию по редактированию на уровне объектов, определяя, что должно измениться, а что должно остаться прежним. В ходе нескольких шагов редактирования он поддерживает развивающийся пул объектов, который отслеживает эти изменения с течением времени.
Затем фреймворк координирует специализированные ИИ-модели и визуальные инструменты для проверки различных аспектов редактирования. Например, при получении инструкции «замени синюю машину на красную» EdiVal-Agent может определить, присутствует ли на месте нужная машина, убедиться, что ее цвет изменился в соответствии с запросом, проверить, сохранились ли несвязанные объекты и фон, а также оценить, выглядит ли финальное изображение убедительно.
Эта оценка организована вокруг трех взаимодополняющих измерений:
- Следование инструкциям (EdiVal-IF): выполнила ли модель запрошенное редактирование? EdiVal-Agent объединяет зрительно-языковые рассуждения, обнаружение объектов с открытым словарем и правила верификации для проверки конкретных объектов, атрибутов и изменений.
- Консистентность контента (EdiVal-CC): остался ли контент, который должен был остаться неизменным, стабильным? Используя свой развивающийся пул объектов, фреймворк отслеживает объекты на разных этапах редактирования и сравнивает семантические признаки для обнаружения непреднамеренных изменений.
- Визуальное качество (EdiVal-VQ): остается ли отредактированное изображение визуально убедительным? Модели человеческих предпочтений оценивают перцептивное качество и визуальные артефакты независимо от того, было ли выполнено запрошенное редактирование.
В совокупности эти компоненты образуют конвейер агентной оценки:
Понять инструкцию → Разбить на требования к объектам → Отслеживать состояние между шагами → Применить специализированные инструменты → Проверить каждое требование → Агрегировать результаты оценки
Именно это отличает EdiVal-Agent от единого ИИ-судьи или набора метрик изображений. Он декомпозирует задачу, сохраняет состояние между взаимодействиями, координирует специализированные ИИ-инструменты и объединяет их результаты, чтобы обеспечить детальную оценку того, насколько успешно (или неуспешно) работает базовая модель редактирования изображений.
Результаты
Ключевой вопрос заключается в том, действительно ли агентная оценка отражает человеческие суждения.
Для наиболее агентного компонента фреймворка, EdiVal-IF, мы оцениваем, насколько его вердикты совпадают с оценками людей. EdiVal-IF показал совпадение с мнениями людей в 81,3% случаев, превзойдя оценщик только на базе VLM (75.2%) и метрику на основе порогового значения CLIP (68.9%).
Это улучшение демонстрирует ценность объединения рассуждений ИИ со специализированными визуальными инструментами. Зрительно-языковая модель способна понять семантический смысл инструкции, в то время как детекторы объектов и другие визуальные модели могут более точно проверить, были ли выполнены конкретные требования к редактированию.
Затем мы используем EdiVal-Agent для бенчмаркинг-тестирования ведущих базовых моделей редактирования изображений в различных задачах редактирования и сценариях многошагового взаимодействия.
Оценка выявляет важную проблему: высокая производительность на одном шаге не обязательно означает высокую производительность при многошаговом редактировании. По мере накопления инструкций по редактированию модели должны следовать каждому новому запросу, сохраняя при этом предыдущие правки и несвязанный контент. Таким образом, ошибки могут накапливаться со временем.
Для разработчиков такая детальная оценка дает нечто большее, чем просто таблицу лидеров (лейдерборд). Она помогает понять, вызваны ли улучшения или регрессии следованием инструкциям, сохранением контента или визуальным качеством.
Замыкание цикла разработки базовой модели
Таким образом, EdiVal-Agent может служить нечто большим, чем просто бенчмарком. Агентная оценка может стать частью самого процесса разработки базовых моделей редактирования изображений. Когда создается новая контрольная точка (чекпоинт), модель может автоматически генерировать правки на проверочном наборе данных. EdiVal-Agent может проверять эти результаты, измерять различные аспекты производительности и выявлять конкретные типы сбоев.
Эти результаты могут послужить основой для следующей итерации обучения. Например, новый чекпоинт может улучшить способность следовать инструкциям по редактированию, но при этом хуже сохранять несвязанные объекты. Другой может хорошо справляться с отдельными правками, но быстро деградировать при более длинных последовательностях редактирования.
Автоматизированная детализированная оценка облегчает выявление таких компромиссов и позволяет сократить цикл обратной связи между созданием новой модели и пониманием того, как она себя ведет.
Какое место в этом занимает Lambda
EdiVal-Agent является частью более масштабной работы Lambda в области агентного ИИ — разработки ИИ-систем, способных рассуждать над сложными задачами, координировать специализированные модели и инструменты, а также выполнять многошаговые рабочие процессы.
Большинство обсуждений агентного ИИ сосредоточено на агентах, выполняющих задачи для пользователей. EdiVal-Agent исследует другое важное направление: использование ИИ-агентов для оценки других ИИ-моделей.
Оценка базовых моделей естественным образом подходит для агентного подхода. Эффективному оценщику необходимо понимать задачу, декомпозировать ее на требования, сохранять состояние между несколькими взаимодействиями, выбирать подходящие инструменты, проверять результаты и выдавать полезные для практики отзывы.
EdiVal-Agent таким образом расширяет работу Lambda в области агентного искусственного интеллекта (Agentic AI) до уровня цикла разработки базовых моделей. Агенты — это не только приложение, созданное на базе базовых моделей; они также могут стать частью инфраструктуры, используемой для бенчмаркинга, валидации и улучшения этих моделей.
Это направление приобретает все большее значение по мере того, как базовые модели становятся более мультимодальными, интерактивными и способными к долгосрочному планированию. Их результаты становится все труднее оценивать с помощью одной метрики или даже одного ИИ-судьи. Сама оценка все больше требует рассуждений, памяти, декомпозиции и использования инструментов.
В сочетании с GPU-инфраструктурой Lambda агентная оценка также может масштабироваться по моделям, контрольным точкам, изображениям, этапам редактирования и оценщикам, что делает непрерывную оценку практичной в процессе разработки моделей.
EdiVal-Agent указывает на более широкое направление исследований Lambda в области агентного ИИ: ИИ-агенты, которые не только выполняют сложные задачи, но и помогают разработчикам понимать, оценивать и улучшать другие ИИ-системы.
По мере того как базовые модели становятся все более мощными, системы, используемые для их оценки, также должны становиться более совершенными. Агентный ИИ предоставляет способ замкнуть цикл между обучением, оценкой и улучшением, помогая разработчикам понять не только то, стала ли новая модель лучше, но и где именно она улучшилась и почему.
Paper: arxiv.org/pdf/2509.13399Credits: The University of Texas at Austin, UCLA, Microsoft, and Lambda.Authors: Tianyu Chen, Yasi Zhang, Zhi Zhang, Peiyu Yu, Shu Wang, Zhendong Wang, Kevin Lin, Xiaofei Wang, Zhengyuan Yang, Linjie Li, Chung-Ching Lin, Jianwen Xie, Oscar Leong, Lijuan Wang, Ying Nian Wu, Mingyuan Zhou. ICLR 2026.
