Всем привет, мои Чеширские котики 🐈‍⬛🌟
Я решила написать небольшую шпаргалку о том, как работают генеративные модели вроде GPT 🧬

Думаю важно уточнить❗️: в этой шпаргалке я почти не буду затрагивать обучение нейросети. Больше внимания уделю именно тому, как она генерирует ответы.


Для начала как вообще нейросеть воспринимает наш вопрос?
Конечно же, она не видит просто слова, которые мы ей написали. Сначала текст разбивается на токены (кусочки слов или целые слова).
Каждому токену присваивается вектор чисел🎲. Изначально эти векторы случайные, но во время обучения они сильно меняются и по итогу фиксируются.

Во время обучения модель смотрит на огромные объёмы текста и учится предсказывать следующий токен, находя закономерности между ними. После обучения у неё уже есть наборы весов(готовые "правила", по которым распределяются вероятности)⚖️


А теперь самое главное: что происходит, когда модель получает сообщение и готовится ответить?
Получив сообщение, модель анализирует весь контекст целиком и текущее сообщение, и историю чата, если она есть.

Как происходит анализ?
Для каждого токена строятся три основные вещи: запрос, ключ и значение.
Если говорить понятнее, то: "что я хочу узнать от других токенов"🔎, "как меня можно найти"🗝 и "какую информацию я предлагаю"🧩

Далее каждый токен сравнивает свой запрос с ключами остальных токенов. Это сравнение происходит через скалярное произведение модель измеряет, насколько хорошо запрос одного токена совпадает с ключом другого👥.

Например: в предложении "мама ела кашу" токен "ела" сильнее всего обратит внимание на "мама" (кто выполняет действие) и на "кашу" (что является объектом).
В этом процессе каждый токен обновляет своё состояние, становясь смесью информации от остальных токенов с учётом их важности.

Для этого модель сначала превращает оценки схожести в веса внимания☝️
Затем с помощью специальной нормализации делает так, чтобы все веса в сумме давали единицу и были положительными. И только после этого вычисляет итоговую взвешенную сумму значений от других токенов.

В итоге: "мама" узнаёт возможные действия и объекты, "каша" кто её ест, а "ела" кто участвует в процессе и что именно происходит.
То есть нейросеть будто видит общее значение фразы, но "с разных ракурсов"📷

Естественно, всё это происходит параллельно в нескольких потоках🧠 обычно от 8 до 128. Если бы вычисления шли строго по очереди, генерация ответа занимала бы слишком много времени.

Как модель определяет близкий контекст?
После обучения для каждого токена формируются массивы чисел (из запросов и ключей).
Близость считается по схожести этих массивов: чем они более похожи, тем сильнее токены связаны🪢 в текущем контексте.


Как генерируется ответ? ✒️
Когда представление сформировано, нейросеть не перебирает всю свою базу знаний. Вместо этого она вычисляет наиболее вероятный следующий токен в рамках представления которое сформировала ранее.

Сам ответ создаётся по одному токену: новый токен добавляется в контекст, весь контекст пересчитывается заново, и процесс повторяется. Проще говоря, при каждом сообщении модель получает историю диалога📖 и строит ответ с учётом всей этой истории📝

Именно поэтому новые модели работают с контекстом гораздо лучше старых, до появления трансформеров🤔 Они просто могут улавливать связи между словами на гораздо большем расстоянии.

Ещё это объясняет, почему джейлбрейкнутый чат😈 продолжает работать даже после долгого общения с моделью. Однако если ввести тот же самый джейлбрейк в новом чате, он, скорее всего, будет сразу заблокирован цензурой.

И конечно, возможности модели не безграничны. У неё есть ограничение на размер контекстного окна сколько токенов она может одновременно обрабатывать. Когда новые модели только появлялись, с этим было получше.
Но сейчас из-за экономии компании сокращают количество доступных токенов💲(особенно в бесплатных версиях, в платных с этим гораздо лучше). Поэтому контекстное окно становится всё меньше...😥

#ai #llm #transformers #GPT #attention_mechanism #neural_networks #tokenization