📱 35 млрд параметров на смартфоне с потреблением около 3 ГБ оперативной памяти.

OpenBMB показала MiniCPM-V 4.7: мультимодальный ИИ, который локально читает вывески, разбирает документы и анализирует изображения и видео.

Доступны две версии:

• 35B-A3B: MoE-модель с 35 млрд параметров, из которых около 3 млрд активны при обработке токена.
• 1B: компактный вариант для устройств с ограниченными ресурсами.

Главная технология, Lookahead Expert Scheduling, заранее подгружает нужных экспертов из накопителя и совмещает загрузку с вычислениями. По данным команды, на iPhone 17 Pro Max модель выдаёт более 13 токенов в секунду.

3 ГБ здесь означают память во время работы: веса модели хранятся отдельно на накопителе.

Также открыли Self-Replay Fine-Tuning для обучения новым задачам с меньшим забыванием прежних навыков. Поддерживаются iOS, Android и HarmonyOS.

https://github.com/OpenBMB/MiniCPM-V

@Python_Community_ru