Куда вкладывают слово

Таблица весов устроена как гигантская сетка: строк в ней столько же, сколько токенов в словаре (порядка 100 тысяч), а столбцов у типичной крупной модели — от нескольких сотен до нескольких тысяч, в зависимости от размера. Каждому токену соответствует своя строка чисел. Такой набор называют вектором, или эмбеддингом — от английского embedding, «вложение»: слово буквально вкладывается в числовое пространство. Термин прижился с 2013 года, после статьи команды Google под названием Word2Vec.

Одно число само по себе ничего не значит — ни направления, ни смысла. Но когда чисел несколько тысяч сразу, они работают как координаты точки. Две координаты — это точка на плоскости, школьные x и y. Три — точка в пространстве, вообразить которую ещё можно: маленький шарик, подвешенный в комнате. Пространство на несколько тысяч измерений вообразить нельзя, но математически оно работает так же: у каждой точки есть положение относительно всех остальных.

Смысл слова живёт в том, где точка этого слова оказалась относительно других точек. Слово «кот» — одна точка, «собака» — другая, «самолёт» — третья. В этом многомерном пространстве кот и собака оказываются рядом друг с другом: у обоих в соседях слова «лапы», «шерсть», «миска». Самолёт от них далеко — его соседи «крыло», «турбина», «взлётная полоса».

#LLMпросто

😎 { Синтезиум. Подписка }