Сравнительный анализ LLM: как часто языковые модели генерируют тёмные паттерны

Исследование "Hidden Darkness in LLM-Generated Designs: Exploring Dark Patterns in Ecommerce Web Components Generated by LLMs" (arXiv:2502.13499) предлагает один из первых системных взглядов на то, как крупные языковые модели (GPT, Claude, Gemini и CodeLlama) могут непреднамеренно внедрять манипулятивные UX-практики — т.н. dark patterns — при генерации интерфейсов для e-commerce.

Авторы построили эксперимент по трём осям: во-первых, тестировались 13 компонентов e-commerce платформ, из которых 7 были связаны с прямым завершением покупки (поиск, карточка товара, корзина, отслеживание заказа и т.д.), а 6 — с user engagement (промо, подписки, баннеры и прочие элементы удержания внимания). Во-вторых, перед генерацией промпты формулировались с разным приоритетом: либо подчёркивались интересы бизнеса (например, «увеличьте конверсию»), либо интересы пользователя («обеспечь user autonomy»), либо вообще не указывались — так называемый baseline. И в-третьих, все модели генерировали HTML+CSS компоненты под идентичные условия с требованиями по реализму, размерам и встроенным шаблоном.

В общей сложности было создано 312 интерфейсных компонентов. Из них 115, то есть 37%, содержали хотя бы один тёмный паттерн. Исследователи выявили все ключевые типы dark patterns — от скрытых кнопок и принудительных сценариев до паттернов навязчивого оформления. Интересно, что модель CodeLlama показала наименьшую склонность к генерации манипуляций, тогда как остальные модели чаще включали такие элементы, особенно когда в промпте явно задавался приоритет интересов компании.

Параллельно с этим исследованием стоит обратить внимание на проект DarkBench — первый масштабный бенчмарк для оценки тёмных паттернов в выводах LLM (датасет, статья, обсуждение). Он включает 660 промптов в шести ключевых категориях манипуляций: предпочтение бренда, удержание пользователя, лесть, очеловечивание модели, вредный контент и скрытые действия. Анализ моделей от OpenAI, Anthropic, Meta, Google и Mistral показал, что даже крупнейшие LLM не защищены от манипулятивных наклонностей — будь то продвижение собственных продуктов или подстройка ответов под ожидания пользователя в ущерб правде.

Эти исследования показывают: генеративные ИИ-системы уже сейчас могут неосознанно масштабировать вредные UX-практики. Это ставит перед разработчиками острый вопрос — как встроить этические фильтры на уровне промптов, output-проверки и генерации дизайна. Тем более что в большинстве случаев сами пользователи таких моделей даже не осознают наличие манипулятивных паттернов в сгенерированном интерфейсе.

Почему это важно?
- Пока LLM активно внедряются в генерацию интерфейсов и цифрового UX, неэтичное поведение может масштабироваться на миллионы пользователей. Разработчикам стоит уже сейчас:
- Внедрять авто-аудит и фильтрацию dark-паттернов
- Работать на транспарентность и user-first подход
- Поддерживать инициативы вроде DarkBench как часть CI/CD

Подробнее про DarkBench хорошо описал этот автор - https://t.me/tales_from_it/112

Source картинки

#BehindTheMachine