Brain2Qwerty или как с помощью DL и неинвазивных методов регистрации научились считывать то, что человек собирается напечатать

Громкая относительно свежая статья Nature Neuroscience. Авторы использовали ЭЭГ и МЭГ данные во время того, как люди печатали текст, и обучили сеть распознавать этот напечатанный текст. 35 участников (у 20 регистрировали ЭЭГ, у 20 МЭГ, у 5 — оба) видели на экране предложение по одному слову на испанском, запоминали их и воспроизводили, не глядя на напечатанный ими текст. Это условие было необходимо, чтобы чтение своего текста не "перекрыло" мозговую активность при печатании.

Предложения состояли из 5-8 слов, всего для ЭЭГ сеть получила 146тыс. символов, а для МЭГ — 193 тыс. На вход нейросети подавали фрагменты ЭЭГ- и МЭГ-записей окном 500 мс, от -200 мс до нажатия на клавишу и +300 мс от этого момента. Интересно, что архитектура DL-нейросетки представляла собой не только работу с данными с мозга.

В первом уровне сеть действительно обрабатывала полученные временные ряды. Причем, там есть отдельный слой, который вычленяет особенности записи для каждого человека. В основном ЭЭГ/МЭГ данные проходили через сверточные слои и активационный слой GELU.

На втором уровне нейросеть анализирует текстовый контекст, который уже был получен из 1 уровня (все еще с мозговой активности). То есть сеть не учится побуквенно вычленять паттерны ЭЭГ. Сеть вычисляет вероятность определенной выше буквы в контексте слова и предложения.

Далее сеть исправляет опечатки. В этом уровне она уже совсем не работает с данными с мозга. Работа этого уровня чем-то напоминает T9.

В итоге модель ошибалась (на уровне символов, character error rate — CER) для ЭЭГ-записи в 65% случаев, а для МЭГ-записи в 29%. Это неидеальный результат, но все же очень высокий для неинвазивной аппаратуры.

Очень интересно было посмотреть, какие именно паттерны ЭЭГ/МЭГ помогли сети обучиться. Выяснилось, что значительная часть информации — моторная. Это выяснили по высокой корреляции ошибок сети с расстоянием до правильной клавиши на клавиатуре (например, сеть предположила, что напечатали букву U, а напечатали соседнюю букву I). Скорее всего, декодер опирался на сигнал от моторной коры, проецирующей движение пальцев. Но модель брала не только данные от моторной коры, ведь случались и верные предсказания о намерениях при фактических опечатках.

Эта работа показывает, что придется еще много работать до "чтения мыслей" по трем электродам на голове. Однако на мой взгляд, это уже огромный шаг как минимум к более быстрой разработке решений, коллосально повышающих уровень жизни людей с соответствующими клиническими ограничениями.

https://www.nature.com/articles/s41593-026-02303-2