Два релиза для локального инференса.
Ternary Bonsai 2 (2B, 4B, 9B) использует тернарные веса; 2B-версия целиком работает в браузере на кастомных WebGPU-ядрах и на M4 Max выдаёт до 500 токен/с. Это удобно для приватных прототипов без сервера.
ALoDLM 8B — диффузионная языковая модель: по заявленным замерам она работает примерно в 3 раза быстрее базовой Qwen3-8B при лучших бенчмарках. Это снижает задержку и стоимость на тех же задачах.
Полезно локальным разработчикам и edge-сценариям. Оговорка: цифры получены на конкретном железе и авторских замерах, проверяйте на своих устройствах.
━━━━━━━━━━━━━
📎 Источники:
• Ternary Bonsai 2 (2B, 4B, and 9B) just released on Hugging Face. The 2B can run entirely locally in the browser at up to 500 tok/s on an M4 Max with custom WebGPU kernels.
• ALoDLM 8b looped diffusion language model: ~3x inference speed vs its base model qwen3-8b with better benchmark results