Лучший инструмент для А/Б тестов и знание математики

У меня есть два тезиса, за которые меня время от времени пытаются гнобить:
1. Если вы не знаете какой инструмент выбрать, то выбирайте любой. А это скорее всего Google Optimize.
2. Вам не надо знать подкапотную математику А/Б тестирования. Смотрите на сообщения инструмента «Выиграл / Проиграл»

Почему же я так считаю?

1. Если вы не знаете какой инструмент выбрать, то скорее всего у вас нет или очень мало опыта в А/Б тестировании. Чтобы получить тот самый опыт, важно начать как можно быстрее.
2. Если вы не знаете какой инструмент выбрать, то это означает отсутствие требований к инструменту. Были бы реальные требования, простое сравнение функционала быстро бы решило вопрос. А если нет требований, значит подойдёт любое.
3. Знание подкапотной математики помогут, если вы будете писать свой инструмент с нуля. В других случаях - это практически бесполезно: вы не можете изменить алгоритм(ы) Google Optimize и/или других инструментов.

Кажется, что выбирать лучший инструмент и разбираться в подкапотной математике - это очень и очень правильно. Дьявол кроется в определении «правильно». Я настаиваю, что скорость движения (начать раньше) в большинстве случаев важнее. За это время успеете сделать больше и получить результаты лучше, чем тот выигрыш от лучшего инструмента и знаний математики.

Запускайте эксперименты, о победе которых вам будет сообщать бухгалтерия, а не система аналитики.