Крутой репозиторий, где люди взяли nanogpt (воспроизведение GPT-2) и ускоряли ее обучение. Такой спидран, но для llm-ки

Тут записаны все изменения, и улучшения по времени. Можно почерпнуть идей для оптимизаций обучений

На текущий момент для обучения на 8 h100:
- Время: было 45 минут, стало 2 минуты
- Данные: было 10 млрд токенов, стало 730 млн