A/B тесты

Представьте, что вы, будучи человеком, ответственным за проект, выдвигаете предположение о том, что если мы изменим кнопку на сайте, то сразу увидим прирост новых пользователей, которые купят наш продукт, мы сможем повлиять как-то на CR (Conversion Rate) пользователей. Очевидно, что нельзя просто на энтузиазме выкатить обновление в продакт и получить море денег с продаж, поскольку показатель конверсии не даст нам четкого понимания структуры покупки, поведения пользователей, время их обдумывания в момент и т.д.

Если проще, у нас есть 2 варианта изменения и мы тестируем их на пользователях в одно и то же время.
Последний фактор очень важен, мы о нем будем говорить позже.

На самом деле всё чуточку сложнее, на примере кнопки всё проще. A/B тесты проводятся абсолютно повсеместно (рекомендации друзей, подборка музыки в VK по плейлистам и др.)