Karpathy сделал это снова. Его новый арт-проект —
microgpt.py: 200 строк чистого Python без зависимостей, которые содержат полный алгоритм обучения и инференса GPT.Что внутри:
— токенизатор
— нейросеть (GPT-2 подобная архитектура)
— оптимизатор Adam
— цикл обучения
— инференс
Всё. Больше ничего не нужно. Он говорит: "I cannot simplify this any further."
Почему это важно:
Если ты хочешь по-настоящему понять как работают LLM — это лучшая отправная точка. Никаких библиотек, никаких абстракций. Чистой код.
Где посмотреть:
— GitHub gist: https://gist.github.com/karpathy/8627fe009c40f57531cb18360106ce95
— Web: https://karpathy.ai/microgpt.html
— Google Colab: https://colab.research.google.com/drive/1vyN5zo6rqUp_dYNbT4Yrco66zuWCZKoN
Когда разберёшься в этом коде —招生 LLM уже не кажутся магией.