Только сегодня полез смотреть, что за зверь этот DeepSeek OCR, хотя анонсировали его уже несколько дней назад. И я немного в шоке, что эта новость не особо форсится: ну выпустили очередную распознавалку изображений и что тут такого? А нифига, китайцы там очередную ML-революцию учинили, хотя есть подозрение, что Google был раньше, но молчал. Но давайте обо всём поподробнее.

Вы все уже знаете, что LLM оперирует токенами. Например, когда вы что-то пишете в ChatGPT, модель не читает это по буквам. Она разбивает ваш текст на токены - это могут быть целые слова (например, «мешок») или части слов (допустим, «силико-новый»). Для модели «силиконовый мешок» - это три текстовых токена. Модель работает с этими токенами, а не с буквами.

А когда вы работаете с мультимодальной моделью (которая понимает и текст, и картинки) и закидываете ей картинку, она тоже не «видит» там каждый пиксель - их миллионы, не хватит ресурсов.

Вместо этого модель делает следующее:
1) Нарезка (Patching): Модель «нарезает» изображение на сетку из небольших квадратиков, как мозаику. Эти квадратики называются «патчами» (patches).
2) Кодирование (Encoding): Затем специальная часть модели (энкодер) «смотрит» на каждый этот квадратик и превращает его в набор чисел (вектор).
3) Создание токена: Этот набор чисел (вектор), который описывает один квадратик изображения, и есть визуальный токен.
Для LLM этот визуальный токен просто говорит: «вот в этой части картинки находится вот такой набор линий, цветов и текстур».

И вот, допустим, вы загружаете в мультимодальную LLM несколько отсканированных страниц текста, где написано 10 000 слов. Как было раньше: модель нарезает эти сканы на тысячи квадратиков. Многие из этих квадратиков содержат лишь части букв или пустое белое пространство. Чтобы описать все эти бесполезные квадратики, ей требовалось, скажем, 60 000 визуальных токенов. А если бы вы просто скопировали и вставили эти 10 000 слов как текст, они превратились бы всего в 15 000 текстовых токенов. То есть визуальные токены были менее эффективны.

И тут на сцену выходит DeepSeek, который придумал, как сжимать информацию в 10 раз лучше визуальными токенами, чем текстовыми!
Теоретически, вы могли бы сохранить эти 10 000 слов всего в 1 500 их специально сжатых визуальных токенах.

Как я понял, они применили некий механизм визуальной памяти в своей модели. Это похоже на то, как вы ищете отрывок текста в уже прочитанной книге, представляя его визуально и зная, на какой стороне разворота и в каком месте страницы он был.

И главная прелесть DeepSeek в том, что они сделали все это open source с открытыми весами и объяснили, как они этого добились. Так что теперь каждый может это поизучать.

Даже если новая система сжатия визуальных токенов будет работать с бо́льшими потерями, сама возможность получить LLM с контекстным окном в 20 миллионов токенов - это очень круто.

А причем тут Google? - спросит внимательный читатель дочитавший до этого места. Есть подозрение, что подобное решение применяется в Gemini, но компания об этом умолчала.