Нейросети наконец научили понимать, что время существует. Исследователи Сбера разработали для видеомоделей Time Adapter — модуль, который помогает контролировать скорость происходящего в кадре.

До этого с динамикой были проблемы: быстрое действие нейросеть могла зачем-то растянуть, а медленное — резко ускорить. Теперь можно отдельно задавать частоту кадров от 15 до 60 fps и управлять темпом самой сцены.

На Kandinsky 5.0 Video Lite результат заметный: естественность движений выросла на 29%, соответствие запросу — на 19%, качество картинки — на 8%.

Код уже выложили в открытый доступ под MIT-лицензией.

Осталось научить нейросети чувствовать приближение понедельника.

@killerfeat