Андрей Карпаты в своем репертуаре: он написал код для обучения GPT-2 на чистом C 🤬

Там примерно 1000 строк кода. Сам Андрей пишет, что это было «quite masochistic» и пришлось помучиться с памятью, указателями и оффсетами тензоров.

Сейчас он переносит все это на CUDA и в ближайшем будущем обещает выпустить видео (под названием «10 часов пыток», видимо).