⚡️ Chameleon: Mixed-Modal Early-Fusion Foundation Models

Chameleon, новые мультимодальные модели, которые могут генерировать и понимать текст и изображения в любой последовательности.

Это модель авторегрессии с параметрами 34B, обученная на ~ 10T токенах чередующихся смешанных модальных данных.

Она превосходит такие модели, как Flamingo, IDEFICS, Llava-1.5, и в то же время не уступает Mixtral-8 x 7 Band Gemini Pro в выполнении задач, связанных только с текстом.

Модель даже превосходит GPT-4V в оценке человеком.

abs: https://arxiv.org/abs/2405.09818

@bigdatai