Neural Computers: ученые из Meta* AI предложили сделать из моделей полноценные компьютеры

В соавторах Юнген Шмидхубер, так что читаем внимательно, чтобы точно знать, когда у него в очередной раз украдут гениальную идею 🤫

TL;DR: авторы предлагают новую ветвь развития генеративных моделей – нейронные компьютеры (NC). NC должны объединить в себе память, вычисления, ввод и вывод. Если сейчас агенты и компьютер разделены, и модель управляет компьютером, то здесь предлагается все это слить, и сделать компьютером саму модель.

На практике они заходят через World models и строят видео-модель, которую учат симулировать компьютер. То есть модель:

1. Видит экран с терминалом (предыдущее состояние) и получает команды
2. Генерирует кадр следующего экрана, на котором выполняются нужные действия

То же самое с GUI: модель видит экран -> получает команду, например, открыть файл -> генерирует следующий экран с открытым файлом -> так получается видео, как будто компьютер на автопилоте выполняет какую-то задачу. Буквально отрисовка поведения ОС.

Учили все это на 1100 часов видеозаписей терминала и ~1500 часов взаимодействий (мышь, клавиатура, экран). Внешне получившаяся модель даже генерирует вполне реалистичный терминал, и команды выполняются визуально правильно. Вот здесь лежит много примеров.

Если присмотреться, то точность текста кое-где еще проседает. Ну и, конечно, есть провалы в самой логике: точность на арифметике всего 4% (хотя некоторые хаки в промптинге дают уже 83%).

Короче, модель пока больше выглядит как компьютер, чем думает как компьютер. Но тут вся соль в идее. Авторы пишут, что в идеале хотят прийти к Completely Neural Computer, то есть к полноценной работающей модели целиком нейронного компьютера.

Футуристичненько

arxiv.org/abs/2604.06425