NoLanguageLeftWaiting

Если хочется делать стриминговый перевод для трансляций или прям настоящий синхрон, быстро упираешься в тупняк классических офлайн-моделей: они часто ждут, пока человек договорит фразу целиком, и из-за этого появляется заметная задержка.

На GitHub нашелся опенсорсный проект NoLanguageLeftWaiting. Ребята взяли офлайн-переводчик Meta NLLB и переделали его в режим реального синхронного перевода: модель может переводить на лету, не дожидаясь конца предложения.

Плюс они закрывают типичные боли “псевдо-синхрона”: когда пунктуация вставляется криво, а работа с префиксами и контекстом превращается в кашу.

Что по возможностям:

* перевод между ~200 языками
* два варианта бэкенда: HuggingFace и CTranslate2
* внутри сразу два размера модели: 600M и 1.3B

Сейчас они ещё пилят speculative decoding (спекулятивное декодирование), чтобы ускорить вывод. Идея: часть гипотез быстро “пробрасывать” и потом частично валидировать, чтобы не тормозить на каждом шаге. По их замерам валидация занимает примерно 0.15 секунды.

Если делаешь голосовой перевод, субтитры для стрима или любой кросс-языковой созвон, где задержка решает, проект прям стоит потыкать.

📁 Language: #Python 100.0%

⭐️ Stars: 41

➡️ Cсылка на GitHub

📱 @git_developer