Продолжаем наши эксперименты с Runway и генерацией игровых мини-роликов через ИИ.

Казалось бы: у нас уже есть готовые модели, персонажи, сцены, понятная идея - остаётся просто описать нужное действие и получить ролик.

Но чем больше мы экспериментируем, тем лучше понимаем: всё далеко не так просто.

Вот несколько моментов, которые особенно сильно бросились в глаза.

- Первая генерация часто выглядит лучше последующих.
Чем больше начинаешь исправлять ролик, перегенерировать сцены и уточнять детали, тем чаще начинает теряться исходный цвет, качество изображения и даже сама идея сцены.

Иногда возникает ощущение, будто ИИ постепенно забывает, что вообще от него хотели в самом начале.

- ИИ периодически начинает импровизировать там, где его никто не просил.
Ты подробно описываешь сцену, движение персонажа, положение оружия, рук и объектов - а в ответ получаешь что-то из серии:
«Я решил сделать немного по-другому».

Потом приходится исправлять уже не свою задумку, а фантазию самой нейросети. И самое интересное - каждая такая попытка стоит кредитов, а значит и вполне реальных денег.

- Очевидные для человека детали для ИИ пока совсем не очевидны.
Например: персонаж должен взять рукоятку рукой.

Для человека всё понятно.

Для ИИ возможны варианты: рука проходит сквозь рукоятку, рукоятка внезапно появляется в ладони, пальцы находятся внутри оружия или сам объект исчезает на несколько кадров.

Можно очень подробно описывать механику движения, положение рук и последовательность действий, но даже тогда модель далеко не всегда понимает физику взаимодействия объектов.

И именно на таких мелочах особенно хорошо видно текущее ограничение видеогенерации.

- Ну и отдельный вопрос - производительность.
Чем больше тестов и генераций, тем сильнее браузер начинает превращать компьютер в печатную машинку.

Лаги, подвисания, огромная нагрузка - и до сих пор не совсем понятно, почему обычная работа с генерациями настолько сильно ощущается на системе.

При этом сама технология всё равно невероятно интересная.

Мы уже можем брать готовые игровые концепты и буквально за короткое время смотреть, как идея может выглядеть в движении. Но пока это всё ещё скорее инструмент для экспериментов и прототипирования, чем кнопка «сделать готовый тизер».

И вот это нам сейчас интереснее всего исследовать: где ИИ действительно ускоряет разработку, а где ты тратишь больше времени на борьбу с генерацией, чем на саму идею.

Продолжаем тестировать Runway дальше.

Посмотрим, насколько далеко получится зайти.