Как тёмные паттерны обманывают LLM-веб-агентов: системное исследование

В статье "Investigating the Impact of Dark Patterns on LLM-Based Web Agents" (Devin Ersoy и другие) представлено первое исследование по влиянию тёмных паттернов на процесс принятия решений универсальными веб-агентами на основе LLM.
Команда разработала фреймворк LiteAgent, который запускает любого веб-агента на сайте и фиксирует все его действия. Для тестирования была создана управляемая среда TrickyArena (e-commerce, health portal, streaming, news) с включаемыми/выключаемыми тёмными паттернами.
Оценивали 6 популярных агентов ( Skyvern, DoBrowser, BrowserUse, Agent-E, WebArena и VisualWebArena), используя три модели: Claude 3.7 Sonnet, GPT-4o, Gemini 2.5 Pro.

👀 Выводы:
🔹При наличии всего одного тёмного паттерна агенты ошибаются и “попадаются” в 41% случаев.
🔹Самые «сильные» агенты нередко оказываются наиболее подвержены тёмным паттернам.
🔹 При одновременном включении нескольких тёмных паттернов резко падает точность выполнения задач. Некоторые паттерны, будучи неэффективными по отдельности, становятся эффективными в комбинации.
🔹 Изменение визуальных и технических характеристик паттерна (цвет, форма, структура DOM) влияет по-разному.Часть агентов не замечает разницы, но у других значительно падает успешность задач и растёт уязвимость.
🔹 Тесты с включённым vision показали, что у большинства агентов падает успешность и растёт уязвимость к паттернам.
🔹Противодействие через подсказки (prompts) работает ограниченно, эффект показали только детальные, пошаговые инструкции о том, как избегать определенного темного паттерна, снижая уязвимость в среднем лишь на ~32%

Ошибки агента могут стоить вам слишком дорого, а чем сложнее сайт, тем выше риск. Примеры таких рисков и рекомендации для пользователей читайте в посте.

#UXWatch
————
@pattern_ai