Исследовательское подразделение Runway анонсировало концепт Project Continuum, экспериментальную оболочку операционной системы.
Отдельные области экрана в ней генерирует видеомодель в реальном времени, и они откликаются на клики, перетаскивание и изменение размера окна.
🟡Runway показала четыре сценария
Порталы – анимированные вставки поверх просматриваемой страницы с наглядным объяснением, местом или симуляцией по её теме.
Отзывчивые видеоинтерфейсы, которые перестраивают сцену под размер окна и учитывают при этом изменение геометрии объектов.
Интерактивные миры разворачивают картинку, клип или превью в пространство, по которому можно перемещаться.
Визуальное мышление рисует ход работы агента - каждый его шаг и вызов инструмента.
Эти области генерирует Solaris, которую Runway недавно представила как первую модель мира для интерфейсов.
Она принимает клики и другие действия пользователя как условие и по ним предсказывает следующий кадр. Под капотом Solaris - видеомодель Gen-4.5, в инференсе которой каждый кадр зависит от предыдущих.
🟡Continuum существует пока только в виде демонстрации
Нерешёнными Runway называет отрисовку текста, связность в длинных сессиях и доступность для программ экранного доступа, которым нужна структура интерфейса.
Для Continuum пока нет ни API, ни SDK, ни цен, ни сроков выпуска, а вот к Solaris можно запросить ранний доступ.
@ai_machinelearning_big_data
#news #ai #ml