Glyph: масштабирование контекстных окон через визуально-текстовую компрессию

Это фреймворк, предназначенный для увеличения длины контекста с помощью визуально-текстовой компрессии. Вместо расширения контекстных окон, основанных на токенах, Glyph преобразует длинные текстовые последовательности в изображения и обрабатывает их с помощью vision–language моделей (VLMs). Такой подход превращает задачу моделирования длинного контекста в мультимодальную проблему, значительно снижая вычислительные и память-затраты при сохранении семантической информации.

https://github.com/thu-coai/Glyph

👉 @bigdata_1