Исчерпывающая лекция Андрея Карпаты, сооснователя OpenAI, о GPT 🎓
На форуме Microsoft Build 2023, который состоялся в этом мае, помимо презентаций новинок от Microsoft, были и другие заметные выступления. Например, с потрясающей лекцией «State of GPT» выступил Андрей Карпаты из OpenAI.

В своей презентации он рассказал о том, как тренировалась модель GPT и как создать ассистента, аналогичного ChatGPT. Он рассказал о токенизации, предварительной тренировке, fine-tuning и обучении с подкреплением на основе отзывов людей (RLHF).

Андрей — это, можно сказать, один из пап ChatGPT, поэтому послушать его лекцию, сопровожденную подробными слайдами, — настоящая находка для фаната языковых моделей. Лекция, если что, на английском 🇨🇦