TGViewer
Conversion And Analytics Conversion And Analytics @conversion_and_analytics · 421 subscribers
Post #186 551
Участники экспериментa

Многие часто говорят «пользователь не попал в эксперимент», но на самом деле не отличают «не попал в эксперимент» и «попал в группу А». Дело в том, что и в обоих случаях пользователь не будет видеть изменения сделанные для группы Б.

Смотрите, у нас есть три группы людей:
- Группа А - участники эксперимента, контрольная группа, не видят изменений
- Группа Б - участники эксперимента, экспериментальная группа, видят изменения
- Все остальные - не участники эксперимента, не видят изменений.

Важно отличать участников эксперимента от не участников, потому что сравнивать можно только группу А с группой Б. Сравнивать «тех, кто видел изменения» с «теми, кто не видел» будет большой ошибкой, т.к. «те, кто не видел» могли вообще не соответствовать описанию аудитории, на кого рассчитан эксперимент.

Это удобно объяснять на медицинских примерах:
- Группа А - участники эксперимента, люди больны, НЕ получают тестируемое лекарство..
- Группа Б - участники эксперимента, люди больны, получают тестируемое лекарство.
- Все остальные - случайные посетители больницы, которые не ясно чем больны и больны ли они вообще чем-то. Как и группа А они НЕ получают тестируемое лекарство.

Говорите и думайте правильно - это уменьшает путаницу, улучшает качество рабочей коммуникации, снижает кол-во ошибок.
More from @conversion_and_analytics
  1. Jan 20, 2022Почему я не люблю следить за конкурентами 1. Мы не знаем, что работает (приносит пользу),…
  2. Oct 18, 2021Дизайн экспериментов За первые семь месяцев этого года мы с командой запустили 74 продукто…
  3. Sep 20, 2021С вашей гипотезой точно что-то не так Вспомните последний а/б тест, который вы запускали.…
  4. Aug 9, 2021Лучший инструмент для А/Б тестов и знание математики У меня есть два тезиса, за которые ме…
  5. Jul 7, 2021«Продакт придумывает гипотезы» Можно заменить продакт на CRO или на маркетолога, это всё н…
  6. Jun 7, 2021Идея vs Гипотеза Самая частая проблема, которую приходится встречать среди junior/middle с…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →