пиксели и input идут внутри SSH PTY
Я так подумал, концептуально его можно превратить в
HVNC под *nix, большая часть архитектуры то готова: screen capture
mouse injection
keyboard injection
remote GUI
encrypted transport
управляющий канал !!!
*** осталось сдлеать отдельный desktop в параллель (desk 0 to desk X), user hide, ну и какую никакую persistence модель бы воткнуть
god bless SSH