Конкретно, Mk1.5 принимает текст, изображения, видео и аудио, а выдает текст, точки, рамки, многоугольники, клипы и треки объектов. Мы уже развернули его на дронах, робособаках, умных очках и смартфонах. Наши партнеры делают то же самое.
Что нового
Отслеживание объекта на видео
Чтобы воплощенный агент мог выполнять задачи в реальном мире (например, инвентаризацию или спортивную аналитику), часто необходимо отслеживать уникальные сущности во времени. Чтобы обеспечить это, мы обучили Mk1.5 выдавать треки объектов в виде геометрии с временными метками, а не как разовые обнаружения для каждого кадра.
Результат: Mk1.5 лидирует в трех из четырех измеренных нами бенчмарков по сегментации объектов на видео.
Благодаря встроенной поддержке отслеживания объектов, Mk1.5 снижает потребность в сложных конвейерах повторной идентификации, которые обычно следуют за большинством моделей обнаружения. Независимо от того, отслеживаете ли вы инвентарь в розничной торговле или игроков в спортивной трансляции, вы можете внедрить эту возможность уже сегодня.
Понимание эгоцентрического видео
Понимание видео от первого лица открывает возможности для приложений, начиная от аннотирования данных для обучения роботов и заканчивая помощью умным очкам в интерпретации и реагировании на то, что видит пользователь.
Обучаясь специально на эгоцентрическом видео, мы смогли добиться значительных успехов в таких задачах, как отслеживание рук и сегментация подзадач: Mk1.5 локализует руки в кадре от первого лица на 50 процентов лучше, чем самая мощная модель Gemini, которую мы измеряли.
БЕНЧМАРК Mk1.5 Gemini 3.1 Pro Gemini 3.7 Flash Gemini 3.8 Flash Δ VS 3.1 PRO Δ VS ЛУЧШИЙ GEMINI PERCEPTRON_EGO · ВОСПРИЯТИЕ НА УРОВНЕ РУК оценка, от 0 до 1 hand_box 0.9433 0.4467 0.5911 0.6179 ▲ +0.4966 (+111%) ▲ +0.3254 (+53%) subtask 0.6331 0.6056 0.6015 0.6253 ▲ +0.0275 (+5%) ▲ +0.0078 (+1%) hand_action_verb 0.2752 0.3137 0.3426 0.3026 ▼ -0.0385 (-12%) ▼ -0.0673 (-20%) hand_caption 0.5435 0.4502 0.5211 0.4944 ▲ +0.0933 (+21%) ▲ +0.0224 (+4%) EGOSCHEMA · QA ПО ДЛИННОМУ ВИДЕО точность, % egoschema 80.40 78.00 80.00 81.20 ▲ +2.40 (+3%) ▼ -0.80 (-1%) egoschema_hard 63.75 55.62 56.88 56.25 ▲ +8.13 (+15%) ▲ +6.87 (+12%) полосы начинаются с 0 · жирный = лучший в строке ▲ Mk1.5 лидирует ▼ Mk1.5 отстает
Добавление аудио как новой модальности
Mk1.5 изначально создан для понимания аудио. Мы не претендуем на то, чтобы быть на переднем крае аудиовизуального понимания в этом первом релизе, но наши текущие публичные возможности уже достаточно сильны, чтобы быть полезными:
МОДЕЛЬ DAILYOMNI ↑ WORLDSENSE ↑ OMNIBENCH ↑ AVHBENCH ↑ Mk1.5 74.67 50.32 51.05 80.56 AV-Flamingo Instruct 72.40[1] 50.30[1] 48.50[1] ≈79.74c[1] AV-Flamingo Think 73.90[1] 51.60[1] 50.60[1] ≈83.61c[1] Qwen2.5-Omni-7B 62.07[12] 45.40[13] 56.13[4] – Qwen3-Omni-30B-A3B Instruct 71.85[12] 54.00[13] – – Qwen3.5-Omni-Plus 84.68a[12] 62.80[13] – – Qwen3.5-Omni-Flash 81.80[3] 57.90[3] – – Gemini 3.1 Pro Preview 82.79[12] 65.50[13] – – Gemini 2.5 Pro – 65.10b[13] – – Mk1.5 отчетные данные производная оценка полосы начинаются с 0 · жирный = самый высокий в столбце · – = не сообщается
Аудиовизуальные возможности позволяют делать всё: от транскрипции с привязкой ко времени до обнаружения событий на основе звука.
Обучение использованию инструментов
Mk1.5 поддерживает произвольные инструменты: любую функцию, объявленную в формате OpenAI со схемой JSON. После определения Mk1.5 решает, что вызывать и когда.
Mk1.5 остается конкурентоспособным по сравнению с другими передовыми моделями в мультимодальном поиске, оцениваемом по LiveVQA-W, Browsecomp-VL, MMSearch.
LiveVQA-W
Визуальные вопросы по последним новостям, видео и статьям. Общая точность, %, чем выше, тем лучше.
Mk1.5 демонстрирует значительное улучшение при включенных вызовах инструментов (+36.1 балла по сравнению с отсутствием инструментов в MMSearch). Этот прирост производительности важен, потому что мы не обучаем наши модели запоминать мировые знания. Вместо этого мы обучаем их эффективно учиться и адаптироваться. Демонстрируя эффективное использование инструментов, мы показываем, что Mk1.5 готов к освоению новых интерфейсов управления.
В нашей демо-среде мы поддерживаем веб-поиск, чтение страниц, масштабирование и обратный поиск изображений, что позволяет Mk1.5 использовать знания, которые он не приобрел во время обучения:
Использование инструментов может стать разницей между статической моделью управления и физическим агентом, который обобщает новые задачи и функции во многих воплощениях.
Параллелизация с помощью субагентов
Помимо выполнения вызовов инструментов, Mk1.5 может развертывать субагентов для параллелизации и ускорения выполнения задач:
Более быстрый вывод при расширении границ возможного
Mk1.5 обеспечивает выполнение запросов в ~2-5 раз быстрее, продолжая расширять границы производительности.
MK1.5 VS MK1 · СКВОЗНАЯ ЗАДЕРЖКА
До 4.7× быстрее, от начала до конца
Медианное время от запроса до полного ответа, чем меньше, тем лучше.
Mk1 Mk1.5 полосы масштабированы в рамках каждой рабочей нагрузки
И улучшения в скорости вывода ощутимы. Этот пример показан на скорости 1x:
Рассуждение в визуальном пространстве
Mk1.5 сохраняет передовые возможности в видео и воплощенном рассуждении.
Mk1.5 в понимании видео
Точность, %, чем выше, тем лучше. Прочерк означает отсутствие результата.
Сочетание продвинутого визуального рассуждения с 5-кратным ускорением вывода позволяет Mk1.5 выдавать более точные ответы (например, в задачах сегментации) гораздо быстрее:
Воплощенные приложения
Учитывая расширенный набор возможностей, Mk1.5 можно надежно развертывать в нескольких новых воплощениях.
В приведенных ниже примерах используйте Mk1.5 как часть циклов агентного управления, предоставляя интерфейс управления каждой платформы в качестве инструментов. Затем Mk1.5 решает последовательность действий или вызовов инструментов, необходимых для выполнения поставленной задачи:
Дроны
Четвероногие роботы
Умные очки
Персональные вычислительные устройства
Создание с помощью Mk1.5
Mk1.5 доступен уже сегодня. Вы можете отправлять ему аудио, просить отследить объект на видео, передать ему свои собственные инструменты или направить его на робота, позволив ему управлять им.
Mk1.5 доступен через платформу Perceptron и наш обновленный SDK.
Если вы хотите узнать больше о развертывании Mk1.5 в вашей инфраструктуре, пожалуйста, свяжитесь с нами по адресу sales@perceptron.inc.
