⚡️ Андрей Карпаты выложил минимальный репозиторий Autoresearch - систему, где AI сам проводит исследования.

Это упрощённая версия ядра обучения LLM из nanoGPT/nanochat:
весь код обучения помещается в один файл (~630 строк) и работает на одной GPU.

Как это устроено:

- человек редактирует prompt (.md)
- AI-агент автоматически меняет training code (.py)

Дальше начинается цикл автономных экспериментов.

Каждая точка на графике — полный запуск обучения LLM (~5 минут).

AI-агент работает в бесконечном цикле:

- создаёт git-ветку
- меняет архитектуру модели
- подбирает optimizer
- оптимизирует гиперпараметры
- запускает обучение
- коммитит улучшения

Если validation loss становится ниже, изменение сохраняется.

Фактически агент сам оптимизирует собственный код обучения и постепенно улучшает модель.

Можно запускать несколько агентов с разными промптами и сравнивать, кто быстрее двигает исследование.

Карпаты шутит, что раньше AI-исследования делали люди между:

- едой
- сном
- митингами

Теперь же исследования могут выполнять рои автономных AI-агентов, которые бесконечно гоняют эксперименты на кластерах.

GitHub: github.com/karpathy/autoresearch

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml