​​⚙ VLMEvalKit: набор инструментов с открытым исходным кодом для оценки больших многомодальностей моделей

Набор инструментов призван предоставить удобную и всеобъемлющую структуру для исследователей и разработчиков для оценки существующих многомодальных моделей и публикации воспроизводимых результатов оценки.

Хотя набор инструментов в настоящее время в основном используется для оценки больших моделей на языке видения, его конструкция совместима с будущими обновлениями, которые включают дополнительные модальности, такие как аудио и видео.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться