Autoresearch от Андрея Карпаты

Встречаем новый проект от гуру: агент, который автономно проводит эксперименты и обучает LLM.

Autoresearch состоит из: самого агента, одной GPU и простой среды обучения маленькой LLM. Агент самостоятельно изменяет train.py, запускает короткие сессии обучения модели по 5 минут, оценивает улучшение метрик и сохраняет или отбрасывает изменения.

Так он может провести десятки экспериментов за ночь. Вы встаете – и получаете уже улучшенную модель, экономя себе несколько часов рутинного копания в коде (см.график с изменениями метрики по итерациям ⬆️).

Все свои дополнительные инструкции можно дописать в program.md: где менять гиперпараметры, что исследовать. Исходный program.md сделан предельно простым, но при желании можно упороться и добавить мультиагентность, новые метрики, стратегии и прочее.

https://github.com/karpathy/autoresearch