В прошлом году мы представили Brain2Qwerty v1 — исследование, в котором используется искусственный интеллект для расшифровки активности мозга в текст без каких-либо хирургических имплантатов. Теперь мы делимся следующим шагом: Brain2Qwerty v2, самым производительным сквозным конвейером, способным декодировать предложения в реальном времени на основе неинвазивных записей мозговой активности, приближаясь к уровням точности, ранее доступным только методам, требующим хирургического вмешательства на головном мозге.
Чтобы ускорить прорывы в неврологии, мы выпускаем полный код обучения для Brain2Qwerty v1 и v2, а наш партнер, Баскский центр когнитивных исследований, мозга и языка (BCBL), выпускает набор данных v1. Мы верим, что это исследование способно реально помочь миллионам людей, страдающих от поражений головного мозга, которые лишают их возможности общаться. Инвазивные процедуры, такие как стереотаксическая электроэнцефалография и электрокортикография, показали, что нейропротез, передающий сигналы на декодер ИИ, может восстановить общение, но их трудно масштабировать. Наш неинвазивный подход может помочь преодолеть этот разрыв.
Мы обучили Brain2Qwerty v2 примерно на 22 000 предложений от девяти добровольцев, каждый из которых записывался в течение 10 часов в магнитоэнцефалографическом (МЭГ) устройстве во время активного набора текста. Вместо того чтобы полагаться на созданные вручную конвейеры для обнаружения нервных импульсов, мы используем сквозное глубокое обучение для декодирования непосредственно из необработанных сигналов мозга.
Тонкая настройка больших языковых моделей на нейронных данных позволяет системе использовать семантический контекст, преодолевая разрыв между зашумленными записями мозга и связным языком. Мы также развернули агентов ИИ для поиска оптимизаций конвейера декодирования, причем окончательные конфигурации обучения выбирались инженерами вручную.
Результат: Brain2Qwerty v2 связно восстанавливает предложения из зашумленных нейронных входов, достигая точности распознавания слов в 61%, что значительно превосходит 8-процентную точность других неинвазивных методов. А для нашего лучшего участника мы достигаем точности слов в 78%, при этом более половины всех предложений декодируются с одной ошибкой в слове или менее.
Мы также обнаружили, что точность декодирования улучшается лог-линейно с ростом объема данных, что позволяет предположить, что оставшийся разрыв в производительности с хирургическими подходами можно еще больше сократить за счет простого масштабирования данных. Эта работа является частью наших усилий по созданию открытых фундаментальных моделей мозга вместе с нашей моделью Tribev2 для кодирования восприятия, NeuralSet для обработки данных мозга в больших масштабах и NeuralBench для систематической оценки моделей. Мы делаем это в тесном сотрудничестве с сообществом благодаря нашему недавнему фонду в размере 5 миллионов долларов для стимулирования открытых наборов данных в рамках проекта Digital Brain. Мы надеемся, что эта открытая работа продвинет неврологию вперед, позволяя выявлять, диагностировать и лечить неврологические расстройства быстрее, чем в изоляции.
