Исследовательница OpenAI Алиса Лю открыла свой конспект по LLM, который вела при подготовке к собеседованиям.
Внутри — от отдельных нейронов до трансформеров: как обучают модели, ускоряют генерацию через KV-кэш и FlashAttention, распределяют работу между видеокартами и считают расход памяти.
Материал на английском, с формулами и кодом на PyTorch. Открываем оглавление и начинаем с основ нейросетей.
Вот и пригодился матан.
😎КиберПоток / Навигация
#инструменты #нейросети #обучение