Runway Hyundai Solaris

Очень интересная шняга от Рунвей, которая напомнила мне пиксель-стриминг в играх.

Представьте, что вы шаритесь по софту, как по игре. Что-то выбираете, куда-то проваливается, вылезает обратно в главное окно. Что-то прибиваете, что-то создаёте.

А теперь вспоминаем нынешнюю истерику по генерации миров.
 
И тут Рунвейченко говорит, а давайте генерить интерфейсы как игровые миры, на лету, как видео на экране, которое реагирует на безумные действия пользователя в софте.

Нажали кнопку – она сразу генерирует, что должно появиться дальше. Передвинули ползунок - перерисовывает экран. То есть все возможные экраны и реакции не обязательно делать заранее - модель придумывает их на лету.

В этом главное отличие от обычных клодкодов, которые «генерируют сайты». То есть просто пишут код сайта, после чего он работает как обычная как эээ.. код.
 
Solaris не пишет готовый интерфейс – он постоянно генерирует его в реальном времени в ответ на ваши действия.
Это, кстати, круто бъется с идеей UX/UI “под задачу” и под пользователя. Нет больше фиксированного UI – есть видеопоток, ведущий юзера к решению задачи.

Это все, конечно же ранний ресерч, но интересный однако.


А теперь для гиков с гаражей:

Solaris построен поверх Runway Gen-4.5, переделанной в autoregressive frame generator. Модель получает предыдущие кадры интерфейса плюс действия пользователя – клики, drag, ввод – и генерирует следующие кадры как продолжение состояния мира. Чтобы это работало с интерактивной задержкой, Runway дистиллировала обычный многошаговый diffusion/denoising до нескольких шагов, а затем дополнительно обучала ускоренную модель на собственных rollout’ах для борьбы с накоплением ошибок. Сверху работает LLM, которая определяет семантику происходящего, а Solaris занимается визуальной динамикой. То есть вместо DOM → layout → renderer → pixels получается примерно previous pixels + user action + intent → new pixels. Цель – 720p в реальном времени, но точные FPS и latency Runway пока не раскрыла.
Ждём мяса.

Вот тут много инфо:
https://www.reddit.com/r/singularity/comments/1w3jq0t/introducing_solaris_our_first_interface_world/

@cgevent