Нейроозвучка — Галя, у нас частичная отмена нудежа!

Я как-то писала о том, что в компании, где я работаю, понадобилось локализовать очень большой объём материалов, а вот нанимать актёров под озвучание компания не захотела. Предпочла проплатить нейронки и делать озвучку с их помощью. Весело — обхохочешься. Я немножечко приложила руку к работе над тем безумием, но всё же большая часть мучений ушла коллеге.

На момент написания предыдущего поста по нейроозвучке я была полна свежих впечатлений о работе над гигароликом на полтора часа, где мне пришлось убиваться об эканье и меканье спикеров. Машинка, в отличие от живого актёра, не умеет делать паузы. Мы опытным путём выяснили, что микропаузы она делает по запятым, тире и разрыву субтитра. Но их может быть недостаточно, если в кадре у вас умный айтишник делает умное "Ээээээ" на полторы минуты.

И вот довелось мне на прошлой неделе снова делать озвучку нейронкой. Тут ситуация была вынужденная: человек для озвучки изначально предполагался, но внезапно исчез, а надо бы срочно. Пришлось снова расчехлять порох из пороховниц.

На этот раз ролик был с тремя спикерами и диктором. И случилось чудо — машинка справилась вполне неплохо. Дорабатывать пришлось по минимуму. Но нюансы, разумеется, были.

🍁 Там, где нужно озвучить незримого диктора, всё идеально. Вот прямо реально отмена нудежа. Диктор звучит не механически, отлично вписывается в появляющуюся на экране графику, вопросов нет. Из чего я делаю вывод, что на случай ядерной войны, когда нет человека, готового начитать закадровый текст, можно применить дефолтные голоса нейронки. Она прекрасно справляется с такой озвучкой.

🍄С людьми, конечно же, проблема сохраняется — надо порядком поизвращаться, чтобы подогнать темп речи спикера под начитку. ИИ пытается помочь, показывая количество недостающих или лишних символов. Казалось бы, догнать до идеала по циферкам, и будет хорошо, но нет. У меня был кусок, где при нормальном количестве символов человек говорил слишком быстро. Пришлось намеренно снижать количество символов, игнорировать красные индикаторы и сохранять сегмент принудительно.

Разумеется, никуда не девается проблема эмоций. Да, нейронка предлагает выбрать степень экспрессивности и даже приблизить акцент начитки к акценту спикера. Но это всё фигня. Итоговый звук может не соответствовать умиротворённому табло спикера при всей пылкости его речи. Русские, знаете ли, не фанаты улыбаться. Говорит эмоционально, а лицо спокойное.

🤩Самое интересное — работа с голосом. Сервис сразу предлагает библиотеку голосов. Но вместо того, чтобы сидеть и выбирать максимально подходящий, можно применить функцию Voice Clone. Это значит, что какое-то время машинка будет думать, анализируя видео, а потом выдаст максимально приближенный к оригиналу голос. Да что уж там — попросту клонирует, заставив человека говорить на другом языке, но своим голосом. Если при этом грамотно поработать с липсинком и укладкой, то получается просто огонь-пожар.

⛔️ Вот только встаёт вопрос законности таких манипуляций. По этому поводу я сходила в техподдержку сервиса. Мне ответили, что для клонирования голоса действительно нужно получить согласие его владельца (хозяина? собственника? продакт-оунера? 😁). А вот на голоса известных людей в системе автоматически стоит бан. Если вы будете пытаться озвучить нейросетью, например, президентов каких-либо государств, то функция Voice Clone по умолчанию не будет доступна. Вот тебе и голосовое равноправие!

Итого: результат получился значительно лучше, чем в прошлый раз. Думаю, из-за большей динамичности ролика и отсутствия мычания у спикеров. Однако укладка под нейроозвучку до сих пор куда сложнее, чем укладка для живого актёра, и иногда сколько ты не мучайся, всё равно хорошо не будет.

#помогитИИ