Ex-Google создали новую архитектуру ИИ с интуицией. Это open source.

Новая архитектура заимствует ключевой аспект функционирования биологических нейронов — временную синхронизацию.

Компания Sakana AI, созданная ex-Google Brain, DeepMind, представила Continuous Thought Machine (CTM). Это попытка переосмыслить основы работы искусственных нейронных сетей, приблизив их к биологическим аналогам.

CTM показала интерпретируемое, человекоподобное поведение, которое возникает естественным образом из архитектуры, а не программируется специально. Это может привести к созданию ИИ с лучшей объяснимостью решений и возможностью переноса знаний между задачами.

Ключевые особенности CTM:

1. Модель обрабатывает данные через "внутренние тики", создавая пространство, в котором "разворачивается мышление" независимо от входных данных.

2. Новый тип нейронов. Каждый нейрон имеет собственную мини-сеть (MLP), обрабатывающую историю своих прошлых активаций.

3. Синхронизация как основной механизм. Представление информации основано на паттернах синхронизации между нейронами, а не только на их активациях.

При тестировании CTM на различных задачах были обнаружены удивительные эмерджентные свойства:

1. Интуитивное решение лабиринтов.

2. Пошаговое распознавание изображений. При классификации изображений CTM изучает разные части изображения последовательно, напоминая человеческое зрительное внимание.

3. Адаптивные вычисления. Модель может регулировать количество "мыслительных шагов" в зависимости от сложности задачи, тратя меньше усилий на простые изображения.

4. Память через нейронную организацию. CTM способна запоминать числа и выполнять операции над ними, используя только организацию и синхронизацию нейронов.

Статья.
GitHub.
Tutorial.