📺 Как устроены изнутри языковые модели

Я постоянно пишу про сложные технические темы. Я осознанно не вдаваюсь в детали, но зато посты получаются более насыщенными моими инсайтами. В то же время, я с большим уважением отношусь к людям, которые могут простыми словами объяснять, как устроены сложные вещи.

Именно такой контент регулярно выпускает Andrey Karpathy — один из главных людей в OpenAI и в прошлом директор AI-направления в Tesla. Несколько дней назад у него вышло видео «Intro to Large Language Models». Там он за час рассказывает из каких основных компонентов состоят системы, как ChatGPT. Если слышали термины «инференс», «файн-тюнинг», «галлюцинации модели», но не понимаете их до конца, то рекомендую к просмотру. Видео набрало за эти дни уже пол миллиона просмотров.

Если пока нет времени, чтобы посмотреть видео целиком, то Леша из канала «Ночной Писаревский» сделал хорошую выжимку на 5 минут на VC. Этого хватит, чтобы получить первичную картину и начать лучше ориентироваться в теме.