В прошлом году мы представили Brain2Qwerty v1 — исследование, в котором используется ИИ для декодирования мозговой активности в текст без хирургических имплантатов. Теперь мы делимся следующим шагом: Brain2Qwerty v2, наиболее эффективным сквозным конвейером, способным декодировать предложения в режиме реального времени на основе неинвазивных записей активности мозга, приближаясь к уровням точности, ранее доступным только методам, требующим хирургического вмешательства на мозге.
Чтобы ускорить прорывы в нейронауке, мы выпускаем полный код обучения для Brain2Qwerty v1 и v2, а наш партнер, Баскский центр познания, мозга и языка (BCBL), выпускает v1 dataset. Мы считаем, что это исследование способно реально помочь миллионам людей, страдающим от поражений головного мозга, которые лишают их возможности общаться. Инвазивные процедуры, такие как стереотаксическая электроэнцефалография и электрокортикография, показали, что нейропротез, передающий сигналы в ИИ-декодер, может восстановить коммуникацию, но их сложно масштабировать. Наш неинвазивный подход может помочь преодолеть этот разрыв.
Мы обучили Brain2Qwerty v2 на примерно 22 000 предложений от девяти добровольцев, каждое из которых записывалось в течение 10 часов, пока участники носили магнитоэнцефалографическое (МЭГ) устройство и активно печатали. Вместо того чтобы полагаться на созданные вручную конвейеры для обнаружения нейронных событий, мы используем сквозное глубокое обучение для декодирования непосредственно из необработанных сигналов мозга.
Тонкая настройка больших языковых моделей на нейронных данных позволяет системе использовать семантический контекст, преодолевая разрыв между зашумленными записями мозга и связным языком. Мы также задействовали ИИ-агентов для поиска оптимизаций конвейера декодирования, при этом окончательные конфигурации обучения выбирались инженерами вручную.
Результат: Brain2Qwerty v2 связно восстанавливает предложения из зашумленных нейронных входных данных, достигая точности слов в 61%, что значительно лучше 8% точности слов у других неинвазивных методов. А для нашего лучшего участника мы достигаем точности слов в 78%, при этом более половины всех предложений декодируются с одной ошибкой в слове или меньше.
Мы также обнаружили, что точность декодирования улучшается логарифмически линейно с увеличением объема данных, что позволяет предположить, что оставшийся разрыв в производительности по сравнению с хирургическими методами может быть еще больше сокращен только за счет масштабирования данных. Эта работа вносит вклад в наши усилия по созданию открытых фундаментальных моделей мозга с помощью нашей модели Tribev2 для кодирования восприятия, NeuralSet для обработки данных мозга в масштабе и NeuralBench для систематической оценки моделей. Мы делаем это в тесном сотрудничестве с сообществом благодаря нашему недавнему фонду в размере 5 миллионов долларов для стимулирования открытых наборов данных в рамках нашего Digital Brain Project. Мы надеемся, что эта работа, проводимая открыто, продвинет нейронауку вперед, чтобы выявлять, диагностировать и лечить неврологические расстройства быстрее, чем при работе в изоляции.
