🔥 Гайд: пишем Transformer с нуля

Интерсный Jupyter-блокнот, в котором пошагово описан процесс создания собственной модели Transformer. Каждый блок кода сопровождается подробным комментарием.

Гайд начинается с предобработки текста и заканчивает полной сборкой работающей архитектуры. За основу он взял классическую статью Attention Is All You Need и видео Андрея Карпаты Let's build GPT: from scratch, in code, spelled out.

https://blog.matdmiller.com/posts/2023-06-10_transformers/notebook.html

@bigdatai