Главный по машинному обучению
Сотрудничество: @veron_28
РКН: clck.ru/3FY3GN
Post #8832
28.3K

Autoresearch от Андрея Карпаты
Встречаем новый проект от гуру: агент, который автономно проводит эксперименты и обучает LLM.
Autoresearch состоит из: самого агента, одной GPU и простой среды обучения маленькой LLM. Агент самостоятельно изменяет train.py, запускает короткие сессии обучения модели по 5 минут, оценивает улучшение метрик и сохраняет или отбрасывает изменения.
Так он может провести десятки экспериментов за ночь. Вы встаете – и получаете уже улучшенную модель, экономя себе несколько часов рутинного копания в коде (см.график с изменениями метрики по итерациям ⬆️).
Все свои дополнительные инструкции можно дописать в program.md: где менять гиперпараметры, что исследовать. Исходный program.md сделан предельно простым, но при желании можно упороться и добавить мультиагентность, новые метрики, стратегии и прочее.
https://github.com/karpathy/autoresearch
Встречаем новый проект от гуру: агент, который автономно проводит эксперименты и обучает LLM.
Autoresearch состоит из: самого агента, одной GPU и простой среды обучения маленькой LLM. Агент самостоятельно изменяет train.py, запускает короткие сессии обучения модели по 5 минут, оценивает улучшение метрик и сохраняет или отбрасывает изменения.
Так он может провести десятки экспериментов за ночь. Вы встаете – и получаете уже улучшенную модель, экономя себе несколько часов рутинного копания в коде (см.график с изменениями метрики по итерациям ⬆️).
Все свои дополнительные инструкции можно дописать в program.md: где менять гиперпараметры, что исследовать. Исходный program.md сделан предельно простым, но при желании можно упороться и добавить мультиагентность, новые метрики, стратегии и прочее.
https://github.com/karpathy/autoresearch
- 🔥 208
- 👍 46
- ❤ 35
- 🤯 14
- 😁 4
- 🤨 4
- 🤔 3
- ❤🔥 2












