Соберите DeepSeek с нуля. 🙂

Автор сделал бесплатный 16-часовой курс на YouTube, где пошагово разбирает создание модели в стиле DeepSeek с нуля — от статей и теории до полного кода.

Внутри:

- механизм внимания с нормальным объяснением
- Multi-Head Latent Attention
- Grouped Query Attention
- позиционные кодировки
- Mixture of Experts
- и многое другое

Нужны только ноутбук и регулярность.

https://www.youtube.com/watch?v=QWNxQIq0hMo&list=PLPTV0NXA_ZSiOpKKlHCyOq9lnp-dLvlms