📱 35 млрд параметров прямо на смартфоне, а оперативки модель просит около 3 ГБ

OpenBMB выкатила MiniCPM-V 4.7 — мультимодальный ИИ, который работает локально: читает вывески, копается в документах, разглядывает картинки и видео. Вариантов два: 35B-A3B — это MoE на 35 млрд параметров, но на обработке каждого токена активны лишь около 3 млрд, и 1B — мелкий вариант для тех, у кого с ресурсами напряг.

Ключевая штука — Lookahead Expert Scheduling: нужные эксперты подтягиваются из накопителя заранее, а сама загрузка идёт параллельно с вычислениями. По словам команды, на iPhone 17 Pro Max модель выжимает больше 13 токенов в секунду. 3 ГБ тут — это память в момент работы, а веса модели живут отдельно, на накопителе. Плюс открыли Self-Replay Fine-Tuning — чтобы учить новые задачи, не теряя по дороге старые скиллы. Из платформ: iOS, Android и HarmonyOS.

MiniCPM-V

👉 About Python