Прорывы в нейронауках

Помимо основной работы я немного занимаюсь машинным обучением в нейронауках.

Сегодня хочу рассказать про исследование, которое в августе вышло в Nature, и которое меня поразило.

https://www.biorxiv.org/content/10.1101/2023.01.21.524489v1.full

С помощью имплантированых в кору микроэлектродов (так называемая electocorticography, ECoG) удалось достичь распознавания речи на достаточном для повседневной жизни уровне. Такой имплант может вернуть речь людям, которые в силу заболеваний утратили возможность говорить.

Как работает такой имплант. Исследование проводилось на одном пациенте, 67-летней женщине с амиотрофическмм склерозом, которая в течении нескольких дней «записывала» заданные экспериментаторами предложения. На сигналах с 64 электродов обучали рекуррентную нейронную сеть на предсказание фонем. Модель выдавала вероятность фонем для каждого момента времени (с окном 80мс). Далее эти вероятности уточнялись с помощью языковой модели (т.е. модель, которая содержит вероятности какие фонемы после каких обычно идут)

В результате удалось получить распознавание речи в реальном времени с ошибкой в 21% на большом корпусе слов и 9% на 50 основных словах и скоростью распознавания более 60 слов в минуту.

Это феноменальный результат. Да, по сути нейросеть нужно обучать на каждом отдельном пациенте и это требует с его стороны немалых усилий. Но результат позволяет вернуть человеку речь.

Насколько я читал, имплант BrainGate2, используемый в данном исследовании, может устанавливаться на 10 лет.

#tech