В локальном ИИ сразу два релиза, которые снижают порог входа в мультимодальные модели.
MiniCPM-V 4.7: 35B-модель на телефоне
MiniCPM-V 4.7 — мультимодальная модель, которая понимает изображения и текст. В демо её запускают на телефоне с потреблением около 3 ГБ памяти. Раньше модели такого масштаба требовали видеокарту серверного уровня, а теперь появляется сценарий полностью локального ИИ-ассистента в смартфоне: без облака, с приватными фото и документами.
Выгода: 35 млрд параметров в ~3 ГБ памяти — это заметный сдвиг для мобильных и периферийных устройств.
Кому: разработчики мобильных приложений, edge-решений, пользователи, которым важна приватность.
Оговорка: пока это демо; независимых бенчмарков качества и скорости нет.
Qwen3.8-27B от Telperion: KV-кэш в 4 раза меньше
Telperion выпустила варианты Qwen3.8-27B-MLA и -GLA-g2 с латентным вниманием. KV-кэш — это память, которая растёт с длиной контекста и мешает запускать длинные диалоги на ограниченной VRAM. Сжатие кэша в 4 раза позволяет либо почти в 4 раза увеличить максимальный контекст на потребительском железе, либо обслуживать на сервере почти в 4 раза больше одновременных запросов.
Заявленный бонус: +6,58% статистически различимый прирост на бенчмарке относительно базовой модели.
Кому: те, кто локально обрабатывает длинные документы или код, и провайдеры инференса, которым важна пропускная способность.
Оговорка: это экспериментальные варианты, квантизация заточена под FP8 KV cache; нужны независимые тесты.
━━━━━━━━━━━━━
📎 Источники:
• A 35B multimodal model running on a phone with ~3GB memory? MiniCPM-V 4.7 demo is pretty wild
• New model from Telperion: Qwen3.8-27B-MLA & Qwen3.8-27B-GLA-g2. 4x smaller KV cache, smarter, and more efficient reasoning.