⚠️ Самый важный навык для вайбкодера – знать как устроены LLM

Короче, посетила такая мысль. Мы как-то так быстро вошли в эру LLM, что вообще не успели в ней ничего осознать. Раньше было очевидно, что про любую технологию нужно знать, как она работает внутри. Типа взял новую базку, и ну хоть пару видосов, несколько постов — нет-нет, да почитаешь. Ну или тебя заставят почитать.

Кажется, что с LLMками ровно наоборот. Все сразу кинулись промпты писать и читать про то, как их писать, вместо того чтобы понять, как оно вообще работает. Из-за этого со стороны всё это выглядит как попытки вслепую нащупать нужный результат или просто скопировать что-то.

Но, на мой взгляд, LLM — это такая же технология, как база данных, так что знания её внутреннего устройства не помешают.

🔝 Поразмыслил и составил список минимальных знаний, необходимых для того, чтобы вы хоть что-то начали делать на LLMках:

1️⃣ Понимание того, что вообще такое нейронная сеть: алгоритм обратного расчёта ошибки, функция активации и т. п. В идеале — написать пошагово свою базовую нейронку. Так точно всё уложится в голове. Звучит сложно, но по факту это как судоку — перемножаешь циферки друг на друга. Я правду говорю!

2️⃣ После предыдущего пункта вы осознаете, что чтобы «скормить» нейронке что-то, сначала надо это перевести в цифры. И вам нужно понять, как буквы становятся числами. Тут поможет понимание того, что такое word2vec алгоритм.

3️⃣ Как только вы в этом разберётесь, придёт понимание, что такое токен и что такое токенизация: как она делается и что даёт.

4️⃣ Ну и теперь вы готовы узнать, как буквы, переведённые в цифры, превращаются в языковую модель. Почитайте про слой внутреннего внимания, входной слой и т. п. Тут же придёт осознание, почему иногда модель в промптах некорректно понимает местоимения и вообще почему от местоимений порой лучше избавляться.

5️⃣ Ну и тут уже можно, в качестве дополнения, посмотреть про обучение модели: подготовку данных, пре-трейнинг, пост-трейнинг, файн-тюнинг и всё такое. Это поможет понять все эти посты про то, почему дипсик обогнал GPT и что конкретно они сделали.

🅰️ К счастью, для всего этого есть материалы!

1️⃣ Тарик Рашид — «Пишем свою нейронную сеть». Это правда крутая книга и по сути интерактивный курс! С кучей картинок и мемов, большим шрифтом и коротким форматом. Прям честно. Но даст максимально глубокое понимание. Или, если совсем лень, можно посмотреть видео.

2️⃣ Вот тут крутая статья про word2vec.

3️⃣ 4️⃣ 5️⃣ Про последние три пункта, мне кажется, если предыдущие два осилили, стоит посмотреть это классное видео из Стэнфорда.

Это не так много материалов, и на их изучение с ChatGPT в обнимку уйдёт пару недель неспешного сидения у компа. Но это вас сильно бустанет!

P.S. Ну и у меня была серия постов про всё это. Можете тоже почитать — эти знания свжи