🚀 ForgeTrain: фреймворк для pre-training, который написали ИИ-агенты

OpenBMB представили ForgeTrain - production-level фреймворк для pre-training, код которого был сгенерирован ИИ без ручного написания человеком.

Заявка интересная не из-за красивой фразы «AI пишет AI», а из-за масштаба. Это не демка на toy-проекте, а инфраструктурный код для обучения моделей, который проверяли на реальном железе.

Что заявляют авторы:

- на NVIDIA H100 ForgeTrain обгоняет Megatron примерно на 10%
- достигнут показатель 44.13% MFU
- пайплайн pre-training проверен не только на H100, но и на Huawei Ascend 910
- на ForgeTrain обучили MiniCPM5-1B, который занял первое место среди моделей до 2B параметров в Artificial Analysis Index
- код фреймворка и Agent Harness обещают открыть для воспроизведения

💻 GitHub: https://github.com/OpenBMB/ForgeTrain