A/B тести

А/Б тести — дуже зручний інструмент, аби подивитися, які в зробленої зміни будуть ефекти першого порядку. У сенсі на що ця зміна повпливає прямо. Дуже їх зручно використовувати, коли не можеш зформулювати власну думку, або коли є дві конкуруючі, або коли хочеш перевірити, що основні показники не просідають від твоєї зміни.

Але відноситися до них як до святих тек^Hстів — це здається шляхом в продукт для нікого. Або ні для кого, як вам більше подобається?

Це хороший інструмент для пошуку локального максимуму, тобто для покращення існуючих рішень. Коли існуючі рішення перестають відповідати реальності, А/Б тести, на жаль, не допоможуть знайти рішення — занадто великі шанси, що якийсь з прямих показників провисне.

Більше того, вони взагалі не показують ефекти другого порядку. Як ті попапи про “все пропало швидше букай” в букінга, які напряму покращували конверсію в букінг прямо тут і зараз, а через рік випалили користувачів, які взагалі перестали на них реагувати і по можливості уникали букінг через такі сірі паттерни взагалі.

Врешті-решти, тестована зміна чи ні — рішення про її випуск на совісті конкретної людини. Просто з ростом компаній в якийсь момент її менеджмент починає боятися, що розуміння напрямку розвитку у працівників може бути в дуже різному стані, наказує всі зміни пропускати через A/B тести, це потроху стає релігією… І в якийсь момент ми наблюдаємо сторінку товара в Амазона, яку хотілося б якось освіжити, але не можна — святий аб-тест забороняє.

Мораль: A/B тест — не панацея, хоч і хороший інструмент.