Этим летом я словил FOMO касательно AI. Казалось что пропускаю революцию которая проходит мимо меня. LLM это действительно революция, которую можно сравнить с изобретением интернета и существенно повлияет на нашу дальнейшую жизнь.

Я начал активно копать и изучать всю доступную информацию в интернете, благо её сейчас очень много. Мне интересно было докопаться до сути работы генеративных моделей - как они устроили под капотом. И в процессе изучения я наткнулся на канал Андрея Карпаты. Это словацко-канадский ученый в области машинного обучения, один из со-основателей компании OpenAI, которая и выпустила всем известный ChatGPT.

На его Youtube-канале можно найти несколько интересных видео-уроков, в одном из которых он на пальцах рассказывает как работают GPT (Generatively Pretrained Transformer) и как происходит процесс обучения - https://www.youtube.com/watch?v=kCc8FmEb1nY.

Я собрал компьютер с современной видеокартой и попробовал самостоятельно обучить модель на классике русской литературы. Результат меня поразил. Приведу небольшой пример что сгенерировала нейросеть обученная за час на бытовой видеокарте:

Барышев, в замашках, можно остаться тогда на министрами и возвращаться на телевом уголке.
«Но царь, спасибо не в ту дорогу, — признал он мне и показался домой под местами вошел на балкон».
— И Буана ничего не успели, — указывал подле него, но несколько раз знал Сперанский.
— Нет, руби у надал рук не решенный, путать. Слышите я, везде станцы графские слова (слушайте словам, ли говораша, что им не переменить) написать?
Лицо князя Андрея к этому месту, до тех пор, как он имел оставить, когда Кутузов

Со стороны может показаться что это выглядит как бред написанный в лихорадке. Но уже прослеживается структура диалогов и даже некая логика повествования. Я был поражен тем, что может собрать на коленке практически любой человек сейчас.

У Андрея есть еще следующая часть на 4 часа, в котором разрабатывается модель способная выдавать результат на уровне ChatGPT2.

В общем если хочется начать понимать на чем основывается текущая революцию в технологиях, советую подписаться на его канал и как минимум посмотреть базовую лекцию о том как устроены нейросети: https://www.youtube.com/watch?v=zjkBMFhNj_g.

#ai