Google Experiments - не A/B тести

В класичному A/B тесті ви ділите аудиторію пополам, показуєте їм різні варіанти і оцінюєте зміни.
Експерименти гугла мають трохи іншу природу. Ви пополам ділите зусилля Google по виконанню стратегії.

На практиці стаються випадки в яких A/B тест показує відсутність змін в конверсії. А експеримент показує, шо тестова версія ефективніше і подальший перехід на експериментальний ленд покращував результати (аналогічно до результатів експерименту)
При цьому, в самому ж експерименті не було зафіксовано відчутної зміни конверсії

Чому результати можуть відрізнятись, при відсутності різниці в конверсії:
- Технічні, поведінкові фактори сторінки відрізняються від тестової, реклама отримує вищий Ad Rank при тому ж CPC > може викупити більше трафу і показати масштабування, або знизити СРС для досягнення попереднього Ad Rank і таким чином зменшити вартість конверсії при збільшенні кількості
- Аудиторія, готова зробити конверсію на оригінальному ленді відрізняється від аудиторії готової зробити конверсію на тестовому ленді. Проявитись це може на низьких Search Impression Share. Якщо сильно спростити приклад, уявіть що у вас ⅓ аукціону - чоловіки. А ⅔ жінки. Оригінальний ленд заточений суто на чоловіків і система вже довгий час таргетить лише їх з конверсією 10%. Інший ленд - одинаково закриває як чоловіків, так і жінок з конверсією 10%. В такому сценарії A/B покаже відсутність різниці, а Google експеримент покаже сильно нижчу вартість конверсії, оскільки пул запитів для роботи збільшиться в 3 рази, що дозволить на нижчих ставках отримувати більше трафу.

По-суті, класичний A/B тест говорить який варіант краще відпрацьовує в межах однакових аудиторій
Google експеримент говорить який варіант більше подобається Google

*пост написаний для привернення уваги до інструменту, шоб більше людей не змогли створити єбучий ad variations зі зміною хедлайнів і гугл нарешті б це пофіксив

Став клоуна, якщо використовуєш Google експерименти. Бігізяну - якщо ні