Перестаньте изучать LLM по случайным статьям и видео, которые объясняют только отдельные куски картины.

LLM from Scratch — это практический курс на PyTorch для тех, кто хочет понять весь путь современной LLM: от первого Transformer-блока до RLHF.

Вместо бесконечной теории здесь собирают полноценную цепочку обучения модели:
• Pretraining → Finetuning → Alignment в одном курсе
• Transformer с нуля: positional embeddings, self-attention, multi-head attention, MLP, residual connections, LayerNorm и полные Transformer-блоки
• Собственный training loop без Trainer-магии: токенизация, батчи, cross-entropy, validation loss, генерация текста
• Современные улучшения архитектуры: RMSNorm, RoPE, SwiGLU, KV Cache, sliding-window attention и streaming cache
• Полный раздел по alignment: SFT, reward models, PPO-style RLHF и GRPO с разбором того, как это выглядит в тренировочном цикле на практике

https://github.com/vivekkalyanarangan30/llm_from_scratch

👉 @PythonPortal