Мы оцифровали слова по трем параметрам для удобства. Но параметров может быть сильно больше. У модели GPT 2 для каждого набора слов может быть более 1600 разных параметров.
 
То есть, перед тем, как прочитать ваше предложение и сделать выводы, ChatGPT сначала превращает каждое слово в набор цифр. Если вам интересно, как это работает математически, то сильно рекомендую почитать статью про алгоритм word2vec (или вот тут, чуть более лаконично, но на английском)
 
🅰️ Набор цифр, который описывает слово называется Embedding. От английского слова embedded - включать в себя. То есть по сути эмбеддинг это однострочная таблица цифр, которая показывает какие свойства ВКЛЮЧАЕТ в себя слово.