Нейроинтерфейс без нейрохирургии

Привет! Я Алина, врач-психиатр. В Nature Neuroscience вышла работа Meta AI и ENS, которая впервые приближает неинвазивный интерфейс мозг-компьютер к массовому продукту: перевод мозговой активности в текст со вполне приемлемым уровнем точности, без вживления электродов

Коммуникационные интерфейсы сейчас все инвазивные — например, Neuralink и его аналоги, каждый требует нейрохирургии в той или иной степени

Что исследовали?

35 здоровых добровольцев печатали заученные фразы на клавиатуре, пока их мозговую активность записывали с помощью ЭЭГ или МЭГ (магнитоэнцефалография).

Для расшифровки сигнала применяли модель Brain2Qwerty, которая состоит состоит из трёх блоков: свёрточный кодирует сигнал в окне вокруг каждого нажатия и подстраивается под каждого участника, трансформер собирает контекст всей фразы, а языковая модель правит выход текста

Результаты:

🔶МЭГ — 29% ошибок на символ в среднем, лучший результат — 18%, то есть 7 букв из 10 определяются верно, а вот у ЭЭГ — 65% ошибок
🔶 Языковая модель работает как автозамена в телефоне. Первые две части часто путают близкие буквы, а она подтягивает выход к настоящим словам и фразам по статистике языка. Без неё точность заметно падает

Какие выводы можно сделать из исследования?

🔶 Дистанция с имплантами сократилась. Brain2Qwerty пока отстаёт от имплантов, вживлённые системы дают ошибку ниже 6%, но это уже конкурентный результат

🔶 Дело не только в модели, но и в приборе. МЭГ обошла ЭЭГ вдвое — значит, способ записи сигнала мозга важен не меньше, чем какой алгоритм его расшифровывает. Авторы делают ставку на новые носимые магнитные сенсоры — тогда МЭГ станет портативной
🔶 Ограничения. Модель не читает сходу, а ждёт конца фразы. Ей нужно заранее знать момент каждого нажатия. В исследовании участники физически печатали пальцами, а парализованному человеку движение надо воображать — на таких модель ещё не проверяли. Поэтому это доказательство идеи, а не готовое устройство

@FemtechForce — о технологиях для здоровья женщин

Текст подготовила #АлинаАкбашева