Чтение мыслей 2.0 от Meta*: компания выпустила Brain2Qwerty v2

В компании сделали модель, которая может с большой точностью восстанавливать текст, который человек молча печатает на клавиатуре. И, кажется, они впервые доказали, что неинвазивные методы могут приближаться к качеству, которое раньше считалось достижимым только после операции на мозге аля Neuralink.

Итак, Brain2Qwerty v2:

– Система основана на Brain2Qwerty v1. Но, в отличие от первой версии, v2 восстанавливает текст без знания момента каждого нажатия клавиши. Она получает непрерывный поток мозговой активности и сразу генерирует предложение целиком.

– Внутри задача разбита на три уровня: есть энкодер, который преобразовывает сырые сигналы MEG в отдельные символы. Дальше эту последовательность обрабатывает Aligner: он пытается понять, где начинаются и заканчиваются слова и строит их эмбеддинги. Далее эти эмбеддинги вместе с исходными сигналами отправляются в LLM, и она уже правит все в конечный вид.

– Выглядит это все как огромная установка стоимостью в миллионы долларов.

Точность относительно предыдущих методов, можно сказать, зашкаливает. Заявляется 61% word accuracy в среднем (около 70% на лучших участниках). При этом система может допускать больше символьных ошибок, чем первая версия, потому что не знает времени нажатия клавиш, но смысл оказывается намного ближе к оригиналу.

И да, это все еще слишком низкая точность для массового применения. НО (и это самое интересное!) исследователи открыли почти идеальный scaling law. Качество продолжает улучшаться почти логарифмически с увеличением объема данных, и насыщения пока не видно.

Так что возможно все, что нужно для очень точного неинвазивного чтения мыслей – это больше данных. В удивительное время живем.

facebookresearch.github.io/brain2qwerty/