​​🚀LLaVA-OneVision: простая визуальная передача задач

LLaVA-OneVision — семейство открытых больших мультимодальных моделей (LMM), разработанных путем консолидации наших идей в области данных, моделей и визуальных представлений в серии блогов LLaVA-NeXT.

Модель, которая может одновременно раздвигать границы производительности открытых LMM в трех важных сценариях компьютерного зрения: сценарии с одним изображением, несколькими изображениями и видео.

Важно отметить, что конструкция LLaVA-OneVision допускает сильный перенос обучения между различными модальностями/сценариями, что дает новые появляющиеся возможности.

В частности, сильное понимание видео и возможности кросс-сценариев демонстрируются посредством переноса задач с изображений на видео.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться