📱 Мультимодальная модель на 35 млрд параметров работает на iPhone. Как?

OpenBMB представила MiniCPM-V 4.7: старшую MoE-модель 35B-A3B и компактную версию 1B для локальной работы с изображениями и видео.

Главная технология: LES, Lookahead Expert Scheduling. Система заранее предсказывает, какие эксперты понадобятся следующему слою, и подгружает их веса, совмещая загрузку с вычислениями.

Прогноз управляет загрузкой, а не ответом модели. Если нужного эксперта не предсказали, его всё равно загружают и используют. Исходная маршрутизация сохраняется.

По замерам команды, оптимизированный запуск даёт 13+ токенов/с на iPhone 17 Pro Max. Помимо LES используются послойная квантизация и спекулятивная генерация DSpark.

Нюанс с «3 ГБ памяти»: это не означает, что все 35 млрд параметров помещаются в RAM. Часть весов остаётся в накопителе и загружается по необходимости.

Ещё добавили сжатие визуальных токенов 4×/16× и Self-Replay Fine-Tuning для адаптации с меньшим забыванием прежних навыков. Старшая модель доступна под Apache 2.0.

https://github.com/OpenBMB/MiniCPM-V

https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B