Три свежих релиза для локального запуска.
JetBrains Mellum 2.1 12B (MoE) — 12 млрд общих параметров, 2,5 млрд активных. Пользователи сообщают, что Q8-квантизация помещается на 16 ГБ GPU и выдаёт около 60 токенов/с на полном 130k-контексте, а на Radeon RX 9070 XT — до 140 токенов/с. Модель подходит для быстрых задач кодогенерации: крупная модель планирует, Mellum быстро исполняет. На 8–12 ГБ картах реально получить 30–40 токенов/с. Кому: разработчикам, которым нужно локальное автодополнение и дешёвая генерация кода.
Breezeblue-tts-2 — локальная модель синтеза речи. Сообщество r/LocalLLaMA называет её лучшей из доступных сейчас и ставит выше Moss TTS 1.5. Выгода: качественный офлайн-голос без облачных API и задержек. Кому: разработчикам голосовых ассистентов, озвучки контента и приложений с ограничениями по приватности.
Tessera-27B-B-CJK — файнтюн Qwen от Zellige AI с фокусом на китайский, японский и корейский языки и подходом к экономии токенов. Для CJK-контента это может означать меньший счёт за инференс и менее раздутый контекст. Кому: продуктам, работающим с китайско-японско-корейскими текстами.
Оговорка: данные по Mellum и Breezeblue в основном пользовательские, независимых бенчмарков пока нет.
Источники: r/LocalLLaMA.
━━━━━━━━━━━━━
📎 Источники:
• Breezeblue-tts-2 is currently the best tts model available right now, and it beats moss tts 1.5.
• JetBrains Mellum 2.1 12B A2.5B MoE is a very good model.
• Tessera-27B-B-CJK, Zellige AIs new finetune of Qwen with novel approaches to how we think about token savings