Не так давно, представили агента, который автоматизировал команду постобучения в Hugging Face: ml-intern

Это реализация с открытым исходным кодом реального исследовательского цикла, которым ежедневно пользуются исследователи машинного обучения. Вы задаёте промпт, он изучает статьи, проходит по цепочкам цитирования, реализует идеи в изолированных средах с графическими ускорителями, итеративно дорабатывает и собирает модели с глубокой исследовательской базой под любой сценарий. Всё построено на экосистеме Hugging Face. 🤗

Он способен на нетривиальные вещи.

На днях, разрабы, вдохновившись nanochat от Andrej Karpathy, поставили ml-intern задачу обучить компактную модель со смесью экспертов со всеми архитектурными улучшениями DeepSeek v4. Для сквозной проверки он обучил модель со смесью экспертов на 100 млн параметров, пройдя как стадию предобучения, так и постобучения.

ml-intern автономно справился с рядом реальных задач на стыке исследований и инженерии:

> отладка переполнений при использовании гипер-соединений на малых масштабах
> выбор размерностей для уменьшения модели до ~100 млн параметров
> исправление имён параметров после применения компиляции графа вычислений в PyTorch для ускорения обучения

- вот сам код этой модели
- Base model: https://huggingface.co/cmpatino/nanowhale-100m-base
- Instruct Model: https://huggingface.co/cmpatino/nanowhale-100m