Компания Meta недавно открыла исходный код Muse Gadget SDK, который включает в себя SDK устройства ESP32 для платформы ESP32 от Espressif Systems (688018.SH), позволяя разработчикам подключать Muse, персонального ИИ-агента от Meta, к физическим устройствам. От устройств для домашнего подключения до портативных интерактивных терминалов — SoC серии ESP32 предоставляют множество вариантов для оборудования Muse с поддержкой беспроводной связи, вывода изображений и голосового взаимодействия.
ESP32: физический шлюз для Muse
Muse разработана для того, чтобы помогать пользователям справляться с задачами, продвигать проекты и превращать долгосрочные цели в планы действий. Комплект разработчика Muse Gadget SDK придает этой помощи физическое воплощение: разработчики могут добавлять дисплеи, кнопки, датчики и другую периферию, превращая повседневные устройства в интерфейсы для своего персонального ИИ.
SDK устройства ESP32 построен на базе среды разработки ESP-IDF от Espressif, а репозиторий с открытым исходным кодом предоставляет прошивку, инструкции по сборке и конфигурации для нескольких плат разработчика. Разработчики могут начать с существующих реализаций, адаптировать их под собственное «железо» и постепенно создавать интерактивные устройства Muse. В зависимости от аппаратных возможностей каждой платы устройство может отображать изображения, отправленные Muse, показывать статус своей работы или запускать голосовое взаимодействие по нажатию кнопки.
SoC от Espressif для различных форм-факторов устройств
Home Link — это устройство для домашнего подключения с интерфейсом USB-C, представленное на сайте Muse Gadgets. Оно создано на базе ESP32-C5, поддерживающего двухдиапазонный Wi-Fi 6 на частотах 2,4 ГГц и 5 ГГц. Работая с локальными HTTP API совместимых устройств и соответствующими навыками сообщества, Home Link помогает Muse находить устройства в домашней сети, предоставляя точку подключения для взаимодействия со светом, телевизорами и многим другим.
Muse Home Link, созданный на базе ESP32-C5, подключает Muse к совместимым устройствам в домашней сети
Espressif также работает над поддержкой Matter для Meta Muse, добавляя возможности контроллера Matter в устройства на базе ESP32, чтобы Muse могла обнаруживать, настраивать и контролировать совместимые устройства Matter, что еще больше расширяет возможности персонального ИИ в сценариях умного дома.
Аппаратное обеспечение для разработчиков, представленное вместе с Home Link, охватывает портативные терминалы с дисплеями, устройства голосового взаимодействия и дисплеи на электронных чернилах — многие из них в настоящее время основаны на ESP32-S3.
M5Stack StickS3 создан на базе ESP32-S3 и объединяет компактный цветной экран с физическими кнопками; он может отображать статус и изображения Muse, а также запускать голосовое взаимодействие по нажатию кнопки. Waveshare ESP32-S3-Touch-AMOLED-1.75C объединяет круглый сенсорный AMOLED-экран с аудиооборудованием, поддерживая как визуальную обратную связь на экране, так и голосовое взаимодействие.
Круглый AMOLED-терминал Waveshare на базе ESP32-S3 с отображением интерфейса Muse
Seeed reTerminal E1002 создан на базе ESP32-S3 с цветным дисплеем на электронных чернилах; на сайте Muse Gadgets он представлен в качестве аппаратного варианта для ежедневных сводок, напоминаний и списков покупок. Благодаря экранам разного размера, разнообразным методам ввода и нескольким форм-факторам устройств разработчики могут выбрать подходящее «железо» для своего конкретного сценария использования.
Seeed reTerminal E1002 на базе ESP32-S3 с отображением ежедневной сводки Muse на цветном дисплее на электронных чернилах
Изучение оборудования для персонального ИИ с помощью ESP-Mosaico
Espressif вскоре поделится демонстрационными концептами Meta Muse на базе ESP-Mosaico, исследуя то, как персональный ИИ-агент может взаимодействовать с физическими устройствами. С помощью этих демонстраций Espressif стремится дать разработчикам более наглядное представление о персональном ИИ на реальном «железе».
ESP-Mosaico — это модульное устройство разработки от Espressif для AIoT и встроенных систем, предлагающее сенсорный экран, аудиовзаимодействие и расширение периферии. В сочетании с инструментами разработки на базе ИИ разработчики могут проектировать интерактивные интерфейсы, расширять периферию и создавать пользовательские приложения на этой платформе, делая разработку и проверку прототипов оборудования для ИИ более интуитивными.
ESP-Mosaico, модульное устройство разработки от Espressif на базе ESP32-S31
От SDK с открытым исходным кодом до широкого спектра оборудования для разработки — сочетание Muse и ESP32 предлагает практическую отправную точку для внедрения персонального ИИ в физические устройства. Espressif продолжит поддерживать разработчиков с помощью программного обеспечения с открытым исходным кодом, инструментов разработки и технических ресурсов, помогая воплощать больше идей ИИ-приложений в работающие интерактивные аппаратные прототипы.
Об Espressif
Espressif Systems (688018.SH) — публичная транснациональная бесфабричная полупроводниковая компания, основанная в 2008 году, с офисами в Китае, Чехии, Индии, Сингапуре и Бразилии. У нас есть увлеченная команда инженеров и ученых со всего мира, сосредоточенная на разработке передовых решений для Wi-Fi и Bluetooth с низким энергопотреблением для Интернета вещей (IoT). Мы создали популярные серии чипов, модулей и отладочных плат ESP8266, ESP32, ESP32-S, ESP32-C и ESP32-H. Используя беспроводные вычисления, мы предоставляем экологичные, универсальные и экономичные чипсеты. Мы всегда стремимся предлагать безопасные, надежные и энергоэффективные решения для IoT. Открывая исходный код наших технологий и решений, мы стремимся дать разработчикам возможность использовать технологии Espressif по всему миру и создавать умные подключенные устройства. В июле 2019 года компания Espressif провела первичное публичное размещение акций (IPO) на Научно-технологической инновационной доске (рынок STAR) Шанхайской фондовой биржи.
