Очень интересная концепция генеративных интерфейсов появилась в результате эксперимента с SD.

Несомненно, сейчас происходит трансформация привычного метода взаимодействия с интерфейсом. Везде начали появляться эти поля для ввода промптов, становясь чуть ли не центральным компонентом в продукте.

В итоге было создано двухмерное пространство, внутри которого формируется пользовательский интерфейс привычного рабочего стола.

Самое интересное, что координаты курсора мыши передаются в SD. Далее, через ControlNet, генерируется корректное отображение курсора на сгенерированном рабочем столе.

Сам по себе тест ничего координатно не меняет, кроме идеи самого подхода взаимодействия с компьютерными системами, устоявшегося более 50 лет назад.

Я чуть подробнее напишу в следующем посте.

Тут про тест подробнее