☝🏻Sony хочет показывать вам кадры, которых ещё нет

Sony подала патентную заявку на ИИ, который угадывает следующий кадр игры и выводит его на экран раньше, чем видеокарта успеет его отрисовать.🤖

Пока это только опубликованная заявка, а не выданный патент.

Обычная генерация кадров вставляет «фейковый» кадр между двумя настоящими. Для этого ей приходится ждать оба кадра, и из-за этого растёт задержка.

☝🏻Sony предлагает не ждать вообще. Модель смотрит на только что показанный кадр и ваши последние нажатия на геймпаде, а потом сразу рисует предсказание.🎮

Как это устроено:
🔻 энкодер сжимает кадр в компактный набор чисел;
🔻 декодер по нему достраивает следующий кадр и отправляет его прямо на дисплей;
🔻 декодер может выдать сразу несколько будущих кадров.

Учится модель сама на видеопотоке, ручная разметка не нужна. Есть и запасной вариант без ИИ: блоки пикселей просто сдвигаются по векторам движения.

Обещают стабильный FPS в тяжёлых играх, отсутствие фризов и никакой лишней задержки ввода.⚡️

☝🏻Есть нюанс: цифр по скорости и качеству в заявке нет, а в собственном примере Sony предсказанный кадр теряет детали.🤔

Sony уже переносит ИИ-масштабирование на свои консоли. Похоже, следующий шаг — игра, которую наполовину дорисовывает нейросеть.🤷🏼‍♀️
================
👁 News | 👁 Soft | 👁 Hacker