Большие языковые модели разобрали ПО ВИНТИКАМ — исследовательница OpenAI Алиса Лю выложила бесплатный конспект об устройстве LLM, который помог ей залететь на работу в корпу 😮

Внутри — от отдельных нейронов и основ обучения до устройства трансформеров, ускорения генерации и работы на нескольких видеокартах. Разобраны KV-кэш, FlashAttention, обучение на человеческих предпочтениях и расчёты того, сколько памяти съедает модель. Всё с формулами, пояснениями и примерами кода на PyTorch.

Материал на английском, математики много — пригодится тем, кто готов разбираться в нейросетях глубже интерфейса чат-бота 🍺
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym