Этот нейроинтерфейс помогает людям с тяжелым параличом полностью восстановить невербальное и вербальное общение

Системы прошлого поколения умели декодировать либо только речь, либо только движения изолированно. А конкретно эта разработка впервые объединила обе функции, транслируя нейронные сигналы мозга в реальном времени через полноразмерного цифрового 3D-аватара, который одновременно говорит и воспроизводит мимику и жесты

Это возможно за счет установки всего одного высокоплотного электродного импланта (ECoG), считывающего электрическую активность коры головного мозга. Выяснилось, что зоны мозга, отвечающие за речь и движения конечностей, частично перекрываются по активности. Чтобы сигналы не создавали помех друг для друга, инженеры создали специализированную модель искусственного интеллекта с параллельными декодерами, разделяющую и синхронно обрабатывающую команды для артикуляции и жестикуляции (таких как пожатие плечами, кивок головой или подъем кулака).

Нейроинтерфейс успешно протестировали на трех пациентах с полностью утраченной способностью изъясняться. В ходе диалоговых тестов система продемонстрировала высокую точность распознавания намерений, а один из участников достиг абсолютного показателя в 100% средней точности декодирования как речи, так и жестов на протяжении трех разговорных блоков