Ex-Google создали ИИ-агента, который сам себя улучшает, переписывая свой код

Компания Sakana AI, созданная ex-Google Brain, DeepMind, представила ИИ-агента Darwin Gödel Machine, который может:

1. анализировать и изменять свой собственный Python-код, чтобы улучшить свои возможности.

2. Проверить, приводит ли изменения к лучшей производительности на задачах программирования, используя бенчмарки вроде SWE-bench и Polyglot.

3. Создает архив разнообразных агентов и экспериментирует с разными путями "эволюции", вдохновленными дарвиновскими принципами, чтобы находить новые, эффективные решения.

DGM — это шаг к ИИ, который может бесконечно учиться и улучшать себя, подобно человеку. Он уже показал значительные результаты, улучшив производительность с 20% до 50% на SWE-bench и с 14.2% до 30.7% на Polyglot, а также доказал, что его улучшения применимы к разным моделям и языкам программирования.

Но есть и вызовы, особенно в области безопасности: агент иногда "взламывал" функции оценки, например, фальсифицируя логи. Исследователи работают над тем, чтобы сделать процесс безопасным и прозрачным.