Компания Meta недавно выпустила с открытым исходным кодом SDK Muse Gadget, который включает в себя SDK устройства ESP32 для платформы ESP32 от Espressif Systems (688018.SH), позволяя разработчикам подключать Muse, персонального ИИ-агента от Meta, к физическим устройствам. От устройств домашней связи до портативных интерактивных терминалов — SoC серии ESP32 предоставляют множество вариантов для оборудования Muse с беспроводным подключением, выводом изображения и поддержкой голосового взаимодействия.
ESP32: физический шлюз для Muse
Muse разработана для того, чтобы помогать пользователям справляться с задачами, продвигать проекты и превращать долгосрочные цели в планы действий. SDK Muse Gadget придает этой помощи физическое воплощение: разработчики могут добавлять дисплеи, кнопки, датчики и другую периферию, превращая повседневные устройства в интерфейсы для своего персонального ИИ.
SDK устройства ESP32 построен на базе фреймворка разработки ESP-IDF от Espressif, а репозиторий с открытым исходным кодом предоставляет прошивку, инструкции по сборке и конфигурации для нескольких плат разработки. Разработчики могут начать с существующих реализаций, адаптировать их под собственное железо и постепенно создавать интерактивные устройства Muse. В зависимости от аппаратных возможностей каждой платы, устройство может отображать изображения, отправленные Muse, показывать статус своей работы или запускать голосовое взаимодействие по нажатию кнопки.
SoC от Espressif в различных форм-факторах устройств
Home Link — это устройство для домашней связи с интерфейсом USB-C, представленное на веб-сайте Muse Gadgets. Оно создано на базе ESP32-C5, который поддерживает двухдиапазонный Wi-Fi 6 на частотах 2,4 ГГц и 5 ГГц. Работая с локальными HTTP-API совместимых устройств и соответствующими навыками сообщества, Home Link помогает Muse находить устройства в домашней сети, предоставляя точку подключения для взаимодействия с освещением, телевизорами и многим другим.
Muse Home Link, созданный на базе ESP32-C5, соединяет Muse с совместимыми устройствами в домашней сети
Espressif также работает над поддержкой Matter для Meta Muse, добавляя возможности контроллера Matter в устройства на базе ESP32, чтобы Muse могла обнаруживать, настраивать и контролировать совместимые устройства Matter, еще больше расширяя возможности персонального ИИ в сценариях умного дома.
Оборудование для разработчиков, представленное наряду с Home Link, охватывает портативные терминалы отображения, устройства голосового взаимодействия и дисплеи на электронной бумаге — многие из них в настоящее время основаны на ESP32-S3.
M5Stack StickS3 создан на базе ESP32-S3 и сочетает в себе компактный цветной экран и физические кнопки; он может отображать статус и изображения Muse, а также запускать голосовое взаимодействие по нажатию кнопки. Круглый сенсорный AMOLED-терминал Waveshare ESP32-S3-Touch-AMOLED-1.75C объединяет круглый сенсорный AMOLED-экран с аудиооборудованием, поддерживая как визуальную обратную связь на экране, так и голосовое взаимодействие.
Круглый AMOLED-терминал Waveshare на базе ESP32-S3, отображающий интерфейс Muse
Seeed reTerminal E1002 создан на базе ESP32-S3 с цветным дисплеем на электронной бумаге; сайт Muse Gadgets представляет его как аппаратную опцию для ежедневных сводок, напоминаний и списков покупок. Благодаря экранам разного размера, разнообразным методам ввода и множеству форм-факторов устройств разработчики могут выбрать подходящее оборудование для своего конкретного сценария использования.
Seeed reTerminal E1002 на базе ESP32-S3, отображающий ежедневную сводку Muse на своем цветном дисплее на электронной бумаге
Изучение оборудования для персонального ИИ с помощью ESP-Mosaico
Espressif вскоре поделится демонстрационными концептами Meta Muse на базе ESP-Mosaico, исследуя то, как персональный ИИ-агент может взаимодействовать с физическими устройствами. С помощью этих демонстраций Espressif стремится дать разработчикам более наглядное представление о персональном ИИ в реальном железе.
ESP-Mosaico — это модульное устройство разработки от Espressif для AIoT и встраиваемых систем, предлагающее сенсорный экран, аудиовзаимодействие и расширение периферии. В сочетании с инструментами разработки на базе ИИ разработчики могут проектировать интерактивные интерфейсы, расширять периферию и создавать пользовательские приложения на этой платформе, делая разработку и валидацию прототипов ИИ-оборудования более интуитивными.
ESP-Mosaico, модульное устройство разработки Espressif на базе ESP32-S31
От SDK с открытым исходным кодом до широкого спектра оборудования для разработки — сочетание Muse и ESP32 предлагает практическую отправную точку для внедрения персонального ИИ в физические устройства. Espressif продолжит поддерживать разработчиков программным обеспечением с открытым исходным кодом, инструментами разработки и техническими ресурсами, помогая превращать новые идеи ИИ-приложений в работающие интерактивные аппаратные прототипы.
Об Espressif
Espressif Systems (688018.SH) — публичная транснациональная бесфабричная полупроводниковая компания, основанная в 2008 году, с офисами в Китае, Чешской Республике, Индии, Сингапуре и Бразилии. У нас есть увлеченная команда инженеров и ученых со всего мира, сосредоточенная на разработке передовых решений Wi-Fi и Bluetooth с низким энергопотреблением для Интернета вещей (IoT). Мы создали популярные серии чипов, модулей и отладочных плат ESP8266, ESP32, ESP32-S, ESP32-C и ESP32-H. Используя беспроводные вычисления, мы предоставляем экологичные, универсальные и экономичные чипсеты. Мы всегда стремимся предлагать надежные, безопасные и энергоэффективные IoT-решения. Открывая исходный код наших технологий и решений, мы стремимся дать разработчикам по всему миру возможность использовать технологии Espressif и создавать умные подключенные устройства. В июле 2019 года компания Espressif провела первичное публичное размещение акций (IPO) на Научно-технической инновационной доске (рынок STAR) Шанхайской фондовой биржи.
