Как на самом деле подделывают голос?

Каждую неделю появляются новости о мошенниках, которые с помощью подделанного голоса крадут деньги. Но если спросить: «Как именно они это делают?», в СМИ чаще всего встречаются общие фразы вроде «используют ИИ». [1] [2] [3] [4]

Многих устраивает такой ответ, но давайте все-таки разберемся, как именно происходит эта "подделка".

История из жизни
В 2022 году, на 5-м курсе, я писал научно-исследовательскую работу (НИР) на тему «Атаки на систему верификации диктора по голосу».

Мне дали экспериментальную систему верификации диктора по голосу (СВДГ), и задача была проста: сгенерировать образцы аудио, которые обманут эту систему.

После долгих поисков я наткнулся на проект DiffVC [5] — реализацию диффузионной модели для преобразования голоса. Этот код выложили в открытый доступ буквально за несколько дней до начала моей работы, что было особенно ценно, так как тогда это была действительно передовая технология.

Как это работает (если упростить)?
1️⃣ Берем два аудиофайла:
Голос А (человек 1 говорит фразу X)
Голос B (человек 2 говорит фразу Y)
2️⃣ Подаем их в модель
3️⃣ На выходе получаем аудио, где человек 1 говорит фразу Y голосом человека 2.

Генерация одной записи занимала ~10 секунд (на слабом железе), а качество было почти неотличимо от оригинала — никакого «робоголоса» или шумов.

Эксперимент
Я сгенерировал несколько образцов и прогнал их через СВДГ. Результат:
💥 21,7% успешных атак (из 2256 тестов).

До этого (из предыдущих научных работ, которые я изучал) другие методы давали максимум 5% успешных атак. Для меня это был шок — стало ясно, что подделка голоса скоро станет массовой.

Таким образом, аудио и видео по умолчанию уже нельзя считать достоверными, а способы их подделки с каждым годом сильно дешевеют и довольно просты в реализации.

P.S. Если кому-то интересно, то текст работы закинул в комментарии (титульник, реферат и оглавление удалил).

#ИнформационнаяБезопасность #Кибербезопасность #Deepfake #VoiceCloning #ИИ #Мошенничество #Технологии #Фишинг #НИР #СВДГ