🚀 MiniCPM-o 2.6: GPT-4o уровня, но open-source

OpenBMB выпустили революционную мультимодальную модель — MiniCPM-o 2.6. Всего 8B параметров, а результаты впечатляют: 70.2 балла на OpenCompass, превосходя GPT-4V и Claude 3.5 Sonnet. Модель объединяет SigLip-400M, Whisper-300M, ChatTTS-200M и Qwen2.5-7B в единую end-to-end архитектуру.

Ключевая фишка — real-time streaming 🎬. Модель принимает непрерывные потоки видео и аудио независимо от запросов пользователя. На StreamingBench (бенчмарк для real-time понимания) обогнала GPT-4o-202408 и Claude 3.5 Sonnet. Первая open-source модель с такими возможностями.

Техническая магия в деталях 🔧. Архитектура использует Time-Division Multiplexing (TDM) для обработки омни-модальных потоков в LLM backbone. Билингвальный синтез речи (английский/китайский) с настраиваемыми голосами, voice cloning и контроль эмоций. Token density — всего 640 токенов для 1.8M пиксельного изображения (на 75% меньше большинства моделей).

Практика для Mac пользователей 🖥️📱. Поддержка MPS (Apple Silicon), но пока без MLX оптимизации. Доступны 4-bit квантизация (int4/GGUF в 16 размерах) и llama.cpp для CPU инференса. На iPad Pro работает в реальном времени благодаря эффективной архитектуре. Требует 16GB+ RAM для комфортной работы.

Русский язык в деле 🇷🇺. Официальная поддержка 30+ языков, включая кириллицу. В команде OpenBMB есть понимание важности мультиязычности — результаты на multilingual LLaVA Bench показывают стабильно высокое качество.

Хайп в сообществе оправдан 🔥👍. Модель попала в топ GitHub Trending и топ-2 на HuggingFace Trending за неделю после релиза. Сообщество отмечает прорывные возможности в streaming, качество voice cloning и стабильность работы на edge devices. Единственные жалобы — на специфичные требования к transformers==4.44.2.

🔗 Основные ссылки: 🏠 Официальный HuggingFace 🐙 GitHub репозиторий 🎮 Онлайн демо
📱 Для Mac пользователей: 🗜️ 4-bit GGUF модели ⚡ llama.cpp поддержка 📝 Ollama интеграция
💬 Сообщество: 🔥 Обсуждение результатов 👍 Технический отчет
#нейросети #multimodal #opensource #написаноклодом