😱💡 Учёные обнаружили сходство между работой мозга и нейросетями в обработке языка

Совместное исследование Google Research, Принстонского университета, NYU и Еврейского университета в Иерусалиме выявило параллели между естественной обработкой речи человеческим мозгом и механизмами работы больших языковых моделей.

Используя внутричерепные электроды, исследователи записывали нейронную активность во время спонтанных диалогов и сравнивали её с внутренними представлениями Whisper, модели преобразования речи в текст. Оказалось, что эмбеддинги Whisper отражают работу слуховых и семантических зон мозга: акустическая информация активирует верхнюю височную извилину (STG), а семантические связи формируются в зоне Брока (IFG).

Эксперименты подтвердили, что мозг предсказывает следующее слово в речи, а ошибки вызывают "нейронное удивление" – механизм, напоминающий обучение с подкреплением в машинном обучении. Однако ключевое различие остаётся: мозг анализирует речь последовательно, а трансформеры — параллельно.

Несмотря на схожие принципы работы, биологическая и цифровая обработка речи сильно различаются. LLM не обладают пониманием контекста, эмоций или социальной динамики, однако их эмбеддинги могут помочь глубже понять принципы работы человеческого мышления.

Учёные надеются, что эти открытия помогут создать ИИ, обучающийся как человек – медленно, постепенно, через опыт. Пока же Whisper неожиданно стал "зеркалом" механизмов работы мозга, открывая новые горизонты для исследований в области нейронауки и искусственного интеллекта.