Конкретно, Mk1.5 принимает текст, изображения, видео и аудио, а выдает текст, точки, рамки, многоугольники, клипы и треки объектов. Мы уже развернули его на дронах, робособаках, умных очках и смартфонах. Наши партнеры делают то же самое.
Что нового
Отслеживание объекта на видео
Чтобы воплощенный агент мог выполнять задачи в реальном мире (например, инвентаризацию или спортивную аналитику), часто необходимо отслеживать уникальные сущности во времени. Чтобы обеспечить это, мы обучили Mk1.5 выдавать треки объектов в виде геометрии с временными метками, а не разовых обнаружений для каждого кадра.
Результат: Mk1.5 лидирует в трех из четырех измеренных нами бенчмарков по сегментации объектов на видео.
Благодаря встроенной поддержке отслеживания объектов, Mk1.5 снижает потребность в сложных конвейерах повторной идентификации, которые обычно следуют за большинством моделей обнаружения. Независимо от того, отслеживаете ли вы инвентарь в розничном магазине или игроков в спортивной трансляции, вы можете развернуть эту возможность уже сегодня.
Понимание эгоцентрического видео
Понимание видео от первого лица открывает возможности для приложений, начиная от аннотирования данных для обучения роботов и заканчивая помощью умным очкам в интерпретации и реагировании на то, что видит пользователь.
Благодаря обучению специально на эгоцентрическом видео, мы смогли добиться значительных успехов в таких задачах, как отслеживание рук и сегментация подзадач: Mk1.5 локализует руки в кадре от первого лица на 50 процентов лучше, чем самая мощная модель Gemini, которую мы измеряли.
БЕНЧМАРК Mk1.5 Gemini 3.1 Pro Gemini 3.7 Flash Gemini 3.8 Flash Δ VS 3.1 PRO Δ VS ЛУЧШАЯ GEMINI PERCEPTRON_EGO · ВОСПРИЯТИЕ НА УРОВНЕ РУК оценка, от 0 до 1 hand_box 0.9433 0.4467 0.5911 0.6179 ▲ +0.4966 (+111%) ▲ +0.3254 (+53%) subtask 0.6331 0.6056 0.6015 0.6253 ▲ +0.0275 (+5%) ▲ +0.0078 (+1%) hand_action_verb 0.2752 0.3137 0.3426 0.3026 ▼ -0.0385 (-12%) ▼ -0.0673 (-20%) hand_caption 0.5435 0.4502 0.5211 0.4944 ▲ +0.0933 (+21%) ▲ +0.0224 (+4%) EGOSCHEMA · ОТВЕТЫ НА ВОПРОСЫ ПО ДЛИННОМУ ВИДЕО точность, % egoschema 80.40 78.00 80.00 81.20 ▲ +2.40 (+3%) ▼ -0.80 (-1%) egoschema_hard 63.75 55.62 56.88 56.25 ▲ +8.13 (+15%) ▲ +6.87 (+12%) полосы начинаются с 0 · жирный шрифт = лучший в строке ▲ Mk1.5 лидирует ▼ Mk1.5 отстает
Добавление аудио как новой модальности
Mk1.5 изначально создан для понимания аудио. Мы не претендуем на лидерство в области аудиовизуального понимания в этом первом релизе, но наши текущие публичные возможности уже достаточно сильны, чтобы быть полезными:
МОДЕЛЬ DAILYOMNI ↑ WORLDSENSE ↑ OMNIBENCH ↑ AVHBENCH ↑ Mk1.5 74.67 50.32 51.05 80.56 AV-Flamingo Instruct 72.40[1] 50.30[1] 48.50[1] ≈79.74c[1] AV-Flamingo Think 73.90[1] 51.60[1] 50.60[1] ≈83.61c[1] Qwen2.5-Omni-7B 62.07[12] 45.40[13] 56.13[4] – Qwen3-Omni-30B-A3B Instruct 71.85[12] 54.00[13] – – Qwen3.5-Omni-Plus 84.68a[12] 62.80[13] – – Qwen3.5-Omni-Flash 81.80[3] 57.90[3] – – Gemini 3.1 Pro Preview 82.79[12] 65.50[13] – – Gemini 2.5 Pro – 65.10b[13] – – Mk1.5 отчетные данные производная оценка полосы начинаются с 0 · жирный шрифт = самый высокий в столбце · – = не сообщается
Аудиовизуальные возможности позволяют реализовать всё: от транскрипции с привязкой ко времени до обнаружения событий на основе звука.
Обучение использованию инструментов
Mk1.5 поддерживает произвольные инструменты: любую функцию, объявленную в формате OpenAI с JSON Schema. После определения Mk1.5 сам решает, что и когда вызывать.
Mk1.5 остается конкурентоспособным по сравнению с другими передовыми моделями в мультимодальном поиске, оцениваемом по LiveVQA-W, Browsecomp-VL, MMSearch.
LiveVQA-W
Визуальные вопросы по последним новостям, видео и статьям. Общая точность, %, чем выше, тем лучше.
Mk1.5 демонстрирует значительное улучшение при включенных вызовах инструментов (+36,1 пункта по сравнению с отсутствием инструментов в MMSearch). Этот прирост производительности важен, потому что мы не обучаем наши модели запоминать мировые знания. Вместо этого мы обучаем их эффективно учиться и адаптироваться. Демонстрируя эффективное использование инструментов, мы показываем, что Mk1.5 готов к освоению новых интерфейсов управления.
В нашей демонстрационной среде мы поддерживаем веб-поиск, чтение страниц, масштабирование и обратный поиск изображений, что позволяет Mk1.5 использовать знания, которые он не приобрел во время обучения:
Использование инструментов может стать тем самым различием между статической моделью управления и физическим агентом, который обобщает новые задачи и функции во многих воплощениях.
Параллелизация с помощью субагентов
Помимо выполнения вызовов инструментов, Mk1.5 может развертывать субагентов для параллелизации и ускорения выполнения задач:
Более быстрый вывод при расширении границ возможного
Mk1.5 обеспечивает ускорение завершения сквозного запроса примерно в 2-5 раз, продолжая при этом расширять границы производительности.
MK1.5 VS MK1 · СКВОЗНАЯ ЗАДЕРЖКА
До 4,7 раз быстрее, от начала до конца
Медианное время от запроса до полного ответа, чем ниже, тем лучше.
Mk1 Mk1.5 полосы масштабируются в рамках каждой рабочей нагрузки
И улучшения в скорости вывода ощутимы. Этот пример показан на скорости 1x:
Рассуждение в визуальном пространстве
Mk1.5 сохраняет передовые возможности в области видео и воплощенного рассуждения.
Mk1.5 в понимании видео
Точность, %, чем выше, тем лучше. Прочерк означает отсутствие результата.
Сочетание продвинутого визуального рассуждения с 5-кратным ускорением вывода позволяет Mk1.5 выдавать более точные ответы (например, в задачах сегментации) гораздо быстрее:
Воплощенные приложения
Учитывая расширенный набор возможностей, Mk1.5 можно надежно развертывать в нескольких новых воплощениях.
В приведенных ниже примерах используйте Mk1.5 как часть агентированных циклов управления, предоставляя интерфейс управления каждой платформы в качестве инструментов. Затем Mk1.5 определяет последовательность действий или вызовов инструментов, необходимых для выполнения поставленной задачи:
Дроны
Четвероногие роботы
Умные очки
Персональные вычислительные устройства
Создание с помощью Mk1.5
Mk1.5 доступен уже сегодня. Вы можете отправлять ему аудио, просить отследить объект на видео, передать ему свои собственные инструменты или направить его на робота, позволив ему управлять им.
Mk1.5 доступен через платформу Perceptron и наш обновленный SDK.
Если вы хотите узнать больше о развертывании Mk1.5 в вашей инфраструктуре, пожалуйста, свяжитесь с нами по адресу sales@perceptron.inc.
