Сейчас будет небольшой LLM-ликбез.
 
При рассказе про очередную ИИ-модель я периодически упоминают такое понятие как длина контекстного окна или, проще, контекст. В общем и целом, под ним понимают общий бюджет промпта, который мы подаём на вход модели. В зависимости от модели это может быть не только текст, но и изображения, документы и иные типы данных.
 
Перед входом контекст токенизуется — разбивается на последовательность дискретных сущностей из словаря модели. Поэтому контекст принято измерять в токенах. Но это всё же некоторое, хоть и приемлемое в большинстве случаев упрощение.
 
Корректнее говорить, что контекст состоит из элементов последовательности, которые состоят из столбцов специальной матрицы, кодирующей представление токенов — эмбеддингов. В большинстве текстовых языковых моделей один эмбеддинг соответствует одному токену.
 
Мои коллеги по AIRI в прошлом году показали, что этот принцип можно нарушить — и закодировали в один эмбеддинг-вектор аж целых 1568 токенов. Результат впечатляющий, поскольку, в теории, позволяет оптимизировать контекст, хотя главным в той работе было всё же исследовать архитектурные пределы сжатия в LLM.
 
А совсем недавно коллеги из другой команды AIRI доказали, что при такой плотной упаковке теряется семантическая осмысленность, и объяснили этот механизм. Обо всём этом мы с ними на днях выпустили статью для нашего блога.