Sony подала заявку на патент технологии предсказания кадров для снижения задержки в играх

Sony подала заявку на патент технологии предсказания кадров (Frame Prediction), которая должна решить главную проблему современных генераторов кадров — высокую задержку ввода.. В отличие от классической интерполяции, вставляющей промежуточный кадр между двумя уже отрендеренными, новый алгоритм формирует следующий кадр на опережение.

Механика работы строится по принципу сетевого кода Rollback Netcode, используемого в файтингах. Энкодер анализирует не только предыдущий кадр и векторы движения, но и действия игрока на геймпаде (например, нажатие кнопки прыжка). На основе этих данных декодер генерирует будущий кадр до того, как его закончит рендерить GPU. Чтобы избежать артефактов при некорректном предсказании ввода, предусмотрен алгоритмический страховочный механизм без участия нейросети.