​​🚀MIBench: Оценка многомодульных больших языковых моделей на основе нескольких изображений

Метод комплексной оценки мелкозернистых возможностей MLLM в сценариях с несколькими изображениями.

В частности, MIBench классифицирует многообразные возможности по трем сценариям: многообразное обучение (MII), многомодальный поиск знаний (MKS) и многомодальное контекстное обучение (MIC) и создает 13 задач с общим количеством 13 тыс. аннотированных образцов.

Во время построения данных для MII и MKS модель извлекает правильные варианты из ручных аннотаций и создаем сложные отвлекающие факторы для получения вопросов с несколькими вариантами ответов.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться