​Пишем GPT в 60 строк NumPy — часть 1

Если уже тестировали популярные модельки нейросетей через API или даже просто когда-то что-то где-то слышали и хотите копнуть глубже, в этой статье автор рассказал, как написать GPT всего в 60 строках numpy с нуля: https://habr.com/ru/post/716902/

Для понимания статьи достаточно базово разбираться в Python, NumPy и обладать небольшим опытом в обучении нейросетей. В реализации отсутствует большая часть функциональности, чтобы максимально её упростить. В общем, enjoy.

Вообще, понимание архитектуры GPT — всего лишь небольшая часть более масштабной темы больших языковых моделей, но жизненно важная для разработчиков нейросетей. GPT оказалась первой архитектурой, у которой есть удобные свойства масштабирования, высокой параллелизации на GPU и качественного моделирования последовательностей. Ну и самое приятное, что исходники выложены на гитхабе: github.com/jaymody/picoGPT.

#ml