Попробовал Live translate от Google в жизни

Я немного пропал из-за поездки в Испанию. Но зато тут у меня заработали Гугл сервисы, которые не работали в России, в частности Live translate (он же «живой перевод»). Так что я его потестил в живых диалогах с настоящими испанцами, ибо сам я «no hablar español» (то есть не бум-бум по Испански 😁)

О чем речь

Гугл 9 июня выкатили новую Gemini 3.5 Live translate — speech2speech модель для перевода. Штука многообещающая, тк последнее время бигтехи сильно разгоняют тему с живым переводом и всегда страдают от того, что живой диалог с такими переводчиками «спотыкается» о кринжовые паузы, пока модель-переводчик «подумает». В этом время собеседники переминаются с ноги на ногу и тупо улыбаются друг другу. А в глазах читается «гля, какая штуковина, ух! Ну подождём! Мда… такие дела… кхе 😬😬»

И вот Гугл говорит нам, мол хватит это терпеть! Никаких больше кринжовых пауз. Просто говори, а модель будет за тобой переводить почти сразу.

За счет того что модель переводит сразу аудио в аудио, без промежуточной транскрипции в текст, — перевод получается почти в реальном времени.

Его встроили в Google Translate, где можно запустить Live Translate в режиме диалога. В нем модель будет находу определять язык, на котором говорят собеседники, и переводить его сразу в речь на другом языке.

Впечатления смешанные

Технология в целом рабочая. Действительно с минимальной задержкой модель одновременно слушает и переводит. Но есть нюанс…

Как это было у меня:
1. Я на улице достаю телефон и окликаю проходящего мимо испанца с собачкой. Начинаю диалог: здороваюсь и спрашиваю, где тут можно в окрестности погулять с собакой. Модель слушая меня, буквально с 3-го/4-го слова начинает ему озвучивать вопрос на испанском.
2. Испанец напрягается, потому что ему сложно слушать как говорю я что-то «на своём» и одновременно мой телефон пытается меня «перекричать» на Испанском. Но вопрос недлинный — терпимо.
3. Испанец дослушивает перевод и начинает отвечать. И напрягается ещё раз. Ответ его уже длинный и его в процессе говорения отвлекает моделька, которая его переводит. Я вижу, как он прикладывает усилие, чтобы фокусироваться именно на своей речи и не слушать перевод.
4. Тем временем модель опять начинает в параллель с ним болтать. Но только в этот раз она ещё и «проглатывает» часть перевода. Испанец что-то наговорил на минуту и 101 слово, а модель переводит мне «Привет… ам… да, вон там есть площадка для собак».

В итоге мы с испанцем оба с недоверием смотрим на переводчик и друг на друга, понимая, что часть диалога переводчик просто прохалтурил 🤔

В итоге, наговорить и прочитать транскрибированный перевод получается все равно надежнее, чем этот лайв режим.

Поэтому ответственно заявляю, что для живого общения фича с live переводом — мертворожденная.

Вангую, что сейчас фича останется только в цифровом мире для всяких зум звонков в лучшем случае. За счёт того, что там высокое качество речи, без уличного шума, и можно сразу автоматически приглушать аудио дорожку с самим голосом собеседника и слушать только перевод.

Возможно, это могло бы ещё работать, если бы мы оба были в наушниках, подключенных к одному переводчику. Но, конечно, ни у одного из нас их не было в моменте (или были в кармане, но кто их будет ради этого доставать…) Так что, пока все не перейдут на ушные импланты со встроенным переводом, как в киберпанке — это все баловство 😁

Заместители