Vision language models are blind
🟢Project page 🟢 Paper 🟢Dataset

На днях вышла интересная статья и датасет к ней про то, как современные мультимодальные модели, которые показывают высокие метрики на известных бенчмарках типа MMMU, MMBench, не справляются с тривиальными для человека задачами типа подсчёта числа пересечений геометрических объектов, подсчёта количества строк и столбцов в таблице и др.

Проблема понятная и идёт она от способа энкодинга изображений, принятого в большинстве решений (вряд ли архитектурно в проприетарных присутствует какая-то инновация в отличие от опенсурса). И это приводит к тому, что чем проще сцена/картинка, которую надо проанализировать, тем важнее не потерять информацию за счет, например, patch-based энкодеров (собственно, результаты в статье показывают как растут метрики при увеличении толщины линий для отдельных задач).

Так или иначе, наблюдение интересное, обращает внимание к проблеме представления картинки для VLM моделей.