Темная сторона A/B тестов

Я вспомнила про рубрику истории A/B тестов (в предыдущих сериях: часть 1, часть 2), и сегодня поговорим про такую редкую тему как этика экспериментов. Немного затрагивала в обзоре про Кохави, обещала расписать побольше.

В этот раз будет интерактивный формат: собрала 8 реальных экспериментов разных лет и разных компаний, в основном бигтехов. Семь подтверждены самими компаниями или научными публикациями, про один известно только из журналистского расследования, компания сама не подтверждала. Названия компаний пока скрыла, чтобы бренд не влиял на оценку (и не гуглите 😏).
Представьте, что задача прилетела вам в Jira: какие тесты вы бы запустили, а какие считаете неэтичными?

Поехали!

1. Разные цены. Крупный интернет-магазин, 2000 год. Чтобы изучить эластичность спроса, разным покупателям показывают разную цену на один и тот же товар – разница в несколько долларов. Пользователи заметили, когда при удалении куки цена менялась.

2. Сайт политической кампании. Штаб кандидата тестирует на главной странице разные сочетания кнопки и фото/видео, чтобы больше посетителей оставляли свой email. Посетители не знают, что участвуют в эксперименте.

3. Замедление поиска. Поисковик хочет понять, сколько денег стоит скорость. У части пользователей выдачу искусственно замедляют на доли секунды.

4. Мотивация для студентов. В программе для решения задач, которую назначает преподаватель, части студентов показывают мотивационные сообщения в духе «ошибки – нормальная часть обучения». Потом сравнивают, сколько задач решили в каждой группе. Участвуют тысячи студентов из 160+ колледжей.

5. Специальные краши приложения. Эта история по данным журналистов, официально компания это не подтверждала. Соцсеть хочет понять, насколько пользователи готовы потерпеть поломки в её Android-приложении и у части пользователей оно намеренно время от времени вылетает. Идея проверить, в какой момент люди перестанут заходить.

6. Кнопка «Я проголосовал». В день выборов соцсеть показывает 61 млн пользователей напоминание о голосовании: одним – с фотографиями друзей, которые уже проголосовали, другим – без фотографий, контрольной группе – ничего. Явку потом сверяют с открытыми списками избирателей.

7. Рекомендации контактов. Профессиональная соцсеть проверяет научную теорию о том, какие знакомства лучше помогают найти работу – близкие или дальние. В течение 5 лет у ~20 млн пользователей алгоритм «Люди, которых вы можете знать» по-разному смешивает сильные и слабые связи.

8. AI на форуме. Исследователи из университета проверяют, насколько AI убедителен в спорах. На популярном форуме дискуссий запускают AI-аккаунты, которые пытаются переубедить собеседников и иногда представляются людьми с определенным жизненным опытом. Собеседники не знают, что общаются с ИИ.

Разбор с названиями компаний, а также небольшим чеклистом, как оценить этичность эксперимента опубликую в пятницу, так что stay tuned.

Голосуйте в опросе ниже, что бы вы НЕ запустили, можно выбрать несколько вариантов 👇
В комментариях пишите, что из этих тестов кажется наиболее неприемлемым (мне больше всего понравилось про краши приложения).

#AB_tests #analytics #stat_fun