Самосовершенствующийся ИИ (почти) здесь

Ребята из Sakana AI, самой кавайной среди ведущих ИИ-лабораторий, вместе с партнёрами разработали новый инструмент, который назвали машина Дарвина-Гёделя (Darwin Gödel Machine). Это работающий пример ИИ, способного к самосовершенствования, хотя пока и ограниченного задачами кодирования. Причём они сделали это очень простым и умным способом.

В классическом подходе к созданию машины Гёделя, предложенным Юргеном Шмидхубером, ИИ должен был математически доказывать пользу каждого вносимого изменения, что пока оказалось нереализуемо на практике. К этому подходу в Sakana добавили эмпирическую ориентацию и эволюционную эвристику, имитирующую развитие эволюционного древа и естественный отбор.

По сути, выглядит так:

* Исходная версия DGM задействует одну из фронтирных моделей для анализа своего кода и разработке предложений по его улучшению.
* На основе этих предложений DGM создаёт своего эволюционного потомка.
* Этот потомок проходит тесты на бенчмарках, т.е. речь идёт об эмпирической, а не математической (как у Шмидхубера) проверке полезности изменений.
* Но, здесь нюанс, все потомки — включая тех, которые не показали себя лучше исходной версии — добавляются в архив, по сути, в разрастающееся эволюционное древо.
* Выбор версии DGM, на основе которой создаётся следующее поколение потомков, происходит по всему эволюционному древу.

Последнее очень важно, поскольку позволяется избегать ловушки локального оптимума, исследовать различные эволюционные пути и открывать неочевидные конвергенции спустя много поколений модели.

В их экспериментах модель таким образом улучшила свои показатели в бенчмарках SWE-bench с 20% до 50% и Polyglot с 14% до 31%, что очень впечатляет. Плюс, такая эволюционная оптимизация оказалась генерализируемой, решения найденные для работы с одним ИИ демонстрируют эффективность и при взаимодействии с другими.

Репорт по ссылке, код на GitHub'е.