Бред Майерс, автор абсолютно крутой книги про взаимодействия опубликовал препринт-черновик статьи про Intelligent Interaction Techniques (IIxT)

Что считается «интеллектуализацией» IxT? Это определяется (несколько расплывчато) как техника взаимодействия, которая использует искусственный интеллект (ИИ) для своей работы. Одна из отличительных особенностей всех интеллектуальных пользовательских интерфейсов состоит в том, что ранее детерминированные IxT становятся вероятностными и потому могут ошибаться.
(Мой комментарий: ну раньше не ошибался скролл, не ошибался бегунок, нет ошибок когда вы смахиваете, кликаете на кнопку или просто вводите текст - точнее они могут быть, но это ошибки не стахистического характера, а ляпсы и тд, вплоть до классификаций ошибок)
https://arxiv.org/pdf/2609.16295

Исследования интеллектуальных пользовательских интерфейсов (IUI) или ИИ-взаимодействия часто затрагивают весь пользовательский интерфейс и то, как он себя ведёт в целом, обычно состоящий из обычных IxT. Например, сегодняшние успешные ИИ-приложения — такие как Claude, Firefly в продуктах Adobe, Copilot в продуктах Microsoft, Figma Design Agent и Figma Make и т. д. — представляют собой в основном чат-интерфейсы (использующие обычную технику ввода текста) наряду с традиционными GUI, а не интеграцию ИИ непосредственно в сами техники взаимодействия.

Некоторые утверждают, что мы перестанем пользоваться обычными графическими интерфейсами, рабочими столами, экранами смартфонов и их техниками взаимодействия, как только интерфейсы на естественном языке и речи станут лучше. Я с этим не согласен. Безусловно, есть задачи, которые проще выполнять с помощью естественного языка, но есть и такие, для которых это не так.

Ситуации, когда интерфейсы прямого манипулирования важны и полезны: когда возможно обеспечить «непрерывное представление объекта интереса» с «быстрыми, инкрементальными, обратимыми операциями, эффект которых на объект интереса виден немедленно» . Когда GUI изобретались в 1970–1980-х годах, а также в начале эры смартфонов в 2000-х, у пользователей было небольшое число файлов, приложений и их значков, поэтому размещение или перечисление их на экране было осуществимо. Сегодня, даже когда у нас на устройствах сотни или миллионы объектов, порой всё ещё быстрее перечислить их и нажать на нужный, а порой предпочтительнее или необходимо использовать интеллектуальный поиск.
Ещё одно преимущество GUI состоит в том, что порой пользователи не знают, что можно сделать, или не знают, как что-то называется, поэтому ожидать, что они выразят это даже на естественном языке, проблематично по сравнению с возможностью просмотреть меню вариантов.

Какие на повестке дня новые интеллектуальные взаимодействия?

Интеллектуальное референсирование: Представьте, что пользователь мог бы одновременно описывать желаемый выбор во время указания. Например, выполняя низкоточное указание области и уточняя детали на естественном языке («слева от этого персонажа», «крайняя правая точка этой кривой»). Помимо уточнения графических свойств на естественном языке, с сегодняшним ИИ можно обеспечить настоящее «семантическое прилипание» («semantic snapping») [12], учитывающее смысл желаемого объекта («радужка левого глаза», «только название ресторана», «красные машины»). Могли бы появиться более простые способы делать множественные выборы («добавь всё это», «выбери все номера телефонов в этом абзаце»). Эти примеры также показывают, как пользователи могли бы корректировать набор выбранного, комбинируя прямое манипулирование (касание с удержанием Shift для переключения элементов) и естественный язык («отмени последний»).

Операции буфера: Сегодняшние межприложенческие техники взаимодействия ограничены копированием-вставкой и перетаскиванием (drag-and-drop), которые можно сделать более интеллектуальными,
С сегодняшним ИИ можно было бы поддерживать множество трансформаций данных, включая возможность пользователям выражать, чего они хотят. Например: «вставить как маркированный список», «вставить как цитаты в формате BibTeX» или «вставить в переводе на английский

Умные меню: Более интересна интеграция меню с семантическим поиском: пользователи могли бы выражать, чего хотят, а система показывала бы им пункты меню, сочетания клавиш и значки для этого, чтобы пользователи учились более быстрым способам выполнения этого действия в будущем. Интеллектуальная настройка меню и других команд могла бы значительно упростить персонализацию интерфейсов.

Интеллектуальная отмена: Возможность отмены действий (undo) для техник взаимодействия можно было бы обобщить за пределы прокрутки — мне часто хочется отменить перемещение или закрытие окна, отменить изменение выбора или других действий, которые сейчас невозможно отменить. Мы также утратили возможность отменять многие операции в веб- и мобильных приложениях, которые раньше можно было отменять на десктопах, — эту возможность следует восстановить интеллектуально. Техники выборочной отмены были продемонстрированы в исследованиях и в (очень) немногих коммерческих системах, где пользователь может указать отмену только части предыдущих действий (например, «отмени только изменения форматирования, но сохрани правки текста», «отмени только изменения в этом абзаце, но сохрани изменения, сделанные позже в других местах»)

Новые виды поиска: можно обеспечить ассоциативный поиск, при котором пользователи находят объекты по мета-свойствам, таким как время создания, местоположение или связь с другими объектами.Графический поиск исследовался несколькими системами, но его было слишком сложно реализовать, а ИИ может это упростить