🧐 Что внутри у GPT-3? 🤖
Первое, что необходимо уяснить, это что же входит в состав исходных данных и данных на выходе. На входе у нас есть последовательность слов (токенов), а на выходе — предположение в виде самого последнего слова во фразе.

Что же там?
Но как же тогда GPT-3 подбирает слова, ведь это ML-модель, которая работает, на самом деле, с числами? Дело в том, что для того чтобы сгенерировать фразу, GPT-3 преобразовывает каждое слово в вектор (последовательность чисел), представляющий это слово. Например,
«Not all heroes wear» ➡️ «capes».

Затем, токены проходят слой Embedding и кодировку по позиции, которая позволяет учитывать порядок вводимых токенов, так как порядок слов критически важен для построения предложения.

Если вы хотите разобраться, как устроены блоки Attention, Feed Forward и Add & Norm, а затем модель декодирует числа обратно в слова, используя SoftMax, читайте подробную статью авторства Даниэля Дугаса – кандидата в доктора наук машинного обучения и роботехники Швейцарской высшей технической школы Цюриха.