Снятый и проанонсированный пару недель назад сюжет про дипфейки таки вышел в эту пятницу на России 24.
Телевизора у меня уже много лет нет в принципе (хотя материалы онлайн каналов смотрю постоянно), так что на выходных посмотрел запись с большим интересом, в плане сравнения онлайн и теле монтажа. 😁 Сразу скажу, результат превзошел ожидания. Да, они не набрали достаточно фейков и давали их повторы (лучшие онлайн товарищи так не делают), но в целом для широкой аудитории неплохо.
Всего для него было снято 35 минут материала, но в финальную передачу попало меньше 17 (добавили еще несколько экспертов в начало), так что резали нещадно.
Из того, что жалко — порезали мой рассказ, про наше топовое место в челлендже на NeurIPS "Стирая невидимое" в номинации как раз "неизвестных вотермарков". Там поинт был в том, что даже если природа вотермарка неизвестна, его можно вполне успешно стирать и это даже не очень сложно (у нас по сути два наших третьекурсника, правда, под руководством Насти челлендж затащили). А результаты стирания можно успешно маскировать (например, сжатием). Это понижает шансы на успешную маркировку генеративного контента в принципе. Но, наверное, это посчитали слишком сложным (или пессимистичным 😉). 🤷♂️
Меня перед записью инструктировали, что все должно было быть понятно каждой бабушке. А я там в какой-то момент ляпнул "эмбеддинги" 😂🤣😂. Но после сказали, ничего
Что порадовало — не вырезали рассказ о нашем новом бенчмарке методов детекта дипфейков, который мы фигачим прямо сейчас. Правда подсократили. Но вполне пристойно и связно получилось. 🙂
И редактор явно хотел, чтобы я что-то радостное про успехи российской науки в детекте дипфейков сказал, поэтому они многоуважаемому Александру Гасникову подсунули аж несколько вопросов в конце, которые к этой мысли плавно подводили. Но я стойко держался. И снова, и снова повторял, что детектировать скоро будет почти нереально. В итоге самые категоричные высказывания порезали, и мягкую концовку сделали, но по пару раз тезис
И все равно люди находят мой адрес и пишут:
спасибо Вам за интервью на канале Россия 24.вы можете подсказать сайт где можно загрузить любой ролик и понять ,что это реальное видео или сгенерировано?
Ну конечно такие сайты есть (и некоторые даже платные), но...
Или вот еще:
Добрый день, Дмитрий!
Мне стало интересно на счёт вашего утверждения. Такое чувство, что вы совершаете фундаментальную ошибку, допуская предположение о существовании устойчивого признакового пространства, по которому можно детектировать ИИ-ролик. Это похоже на методологический брак и вот почему:
1. Диффузия признаков в генеративных моделях непрерывна.
....
Если вам интересно -- пообщаемся?
Хорошо, что я много раз повторил, что детекторы в ближайшее время работать не будут (ибо человек приписывает мне то, чего я не говорил — очень удобно в споре 😉)
С другой стороны нам уже не впервой делать что-то интересное, от чего люди ожидают чуда)
Еще забавно, что один из моих бывших студентов сейчас работает в стартапе, который непосредственно продает решения по детекту дипфейков. Причем курирует там как раз научную сторону. 💪 Он много рассказывать не может, но подход к индустриальным решениям (деликатно выражаясь) сильно отличается от академического. И требует довольно серьезных затрат.
Мы, впрочем, тоже замахнулись на самый крупный датасет в области. И хотели бы сделать его самым чистым в плане data leak, что будет непросто. Я летом писал, что у нас две статьи зашли на ICCV (причем обе Highlight, т.е. вошли в 9,7% лучших статей конференции). Про первую, SOTA оптического потока я писал, а про вторую руки не дошли. А она весьма любопытна: про развитие метрик качества в сторону измерения эстетики и применение их в генеративных моделях. Так вот, похоже многие типа датасеты для детекта дипфейков можно "сломать" просто с хорошей метрикой эстетики (еще покажем это). 😉
Stay tuned! 😉
Впечатления о передаче можно в комментарии 😁
@vgcourse