🔥 Создаём и обучаем свой ChatGPT с нуля — на GitHub появился интерактивный пошаговый гайд по созданию своей LLM для генерации текста, не используя готовую модель.

🔅Покажет, как нейросеть превращает обычный текст в понятные ей числа;
🔅На простых примерах объясняет, как модель понимает связь между словами;
🔅Разбирает современные технологии, которые используются в больших LLM — RoPE, RMSNorm и SwiGLU;
🔅Показывает весь процесс обучения — как модель учится угадывать следующее слово;
🔅Объясняет, как ускорить обучение и заставить видеокарту работать эффективнее;
🔅В финале собираете собственную GPT-модель и запускаете её у себя;
🔅Для старта есть компактная модель на 17 млн параметров, не требующая мощного железа;
🔅Для более серьёзных экспериментов — модель на 151 млн параметров уровня GPT-2 Small.

🔤🔤🔤🔤🔤🔤🔤🔤🔤

Забираем тут.

🙂Не баг, а фича