О вишенках и реальности

Год радует на громкими словами, а не релизами. Очередной симпатичный релиз от моих любимых Runway ждет нас уже скоро — доступы обещали начать раздавать уже со вчерашнего дня. В этот раз нам обещают шикарный перенос мимики (лицевой мокап), лучше завирусившейся недавно Hedra.

Видео из нового продукта Act-On Runway правда сначала потрясают. Но тестируя как работают другие релизы типа обновления Gen c переносом стиля на кадр, понимаешь, что это годится только пока для мемов и творческого поиска. И на том спасибо.

Применяя это на практике понимаешь, что инструменты из коробочки работают примерно на 20%, в кейсе часто приходится это учитывать, подстраиваясь не под идею, а возможности софта. Например у Hedra, если у героя не очевидные черты лица (а это бывает часто), то инструмент просто выдаст ошибку, перенести точки как-то вручную и помочь ему сориентироваться — никак. Кредиты только так улетают, вне зависимости от качества картинки-движения-реалистичности.

Итого для хорошей работы нужно иметь в арсенале несколько подписок, механику которых ты знаешь можешь приблизительно предсказать результат. Часто возникает ситуация, когда одна механика вырусится, автор или группа авторов начинает работать именно с определенным пайплайном, забивая на содержание и вместо экспериментов и все новых и новых открытий мы получаем нейронный шум. Создатели (или их заказчики) потом еще удивляются, а почему их кейс с пайплайном 2022 года не оценили.

Некоторые коллеги выбирают для своих проектов решения из опенсорса, но в этом случае больше управления несет за собой больше экспериментов, итераций и поломок, что конвертируется во время. Зато результат часто не такой как у всех.

Настоящее и будущее больших открытий и хороших денег как всегда за междисциплинарными кейсами, где используется много нейронок, много не-нейронок, а самое главное человеческий талант. Волшебной видео-кнопки пока нет.

Извините, а SORA выйдет? А мячик можно?