Нашел интерактивный учебник по созданию своей GPT-модели — How To Train Your GPT

• Разбирает весь путь — от превращения текста в цифры до готовой нейросети
• На пальцах объясняет, как модель понимает, какие слова связаны между собой
• Использует современные технологии из больших LLM — RoPE, RMSNorm и SwiGLU
• Показывает, как нейронка учится предсказывать следующее слово и становится умнее
• Разбирает ускорение обучения и оптимизацию через AdamW, mixed precision и другие техники
• В конце можно собрать и запустить собственную GPT-модель
• Есть лёгкая версия на 17 млн параметров, которую можно обучать даже без мощного ПК
• А для экспериментов посерьёзнее — версия на 151 млн параметров, примерно уровня GPT-2 Small

Короче, полный конструктор своей GPT с нуля, а не очередная обёртка над готовой моделью. Дерзайте.

Пет-проект