Как А/Б тесты снимают ответственность делать качественный продукт

Привет! Я Денис Седов, руковожу дизайном накоплений и инвестиций. Хочу поделиться одной частой проблемой, которую вижу у продактов.

В рамках сплит-тестов, с завидной регулярностью приходится возвращать разговор к качеству гипотез и реализации. Спрашиваешь про UX, про смысл, про уровень реализации, а в ответ слышишь: «Ну да, решение такое-себе, клиентам стремно, но это же А/Б-тест! Увидит мало человек, зато получим ИНСАЙТ».

Окей. А если эта фича вдруг даст прокрас в деньгах, ты ведь выпилишь её и сделаешь нормально, да? На этом месте продакт обычно замирает. Ведь влияет на выручку! Сделать нормально в Q5 конечно всегда готов, но стрёмное выпиливать-то зачем?

Ну потому что А/Б-тест — это способ получить выводы, и потом сделать нормально. Не способ побыстрее попасть на прод))


Мне кажется, причина в двух вещах

Первое
Когда релизы становятся главной валютой в системе оценки. Главное не качество, а движение. Смотрите, сколько всего сделал! А вот эффект и качество запусков где-то на втором плане.

Второе
Эффект большой компании с десятками команд. У каждой команды свой кусочек интерфейса, своя зона ответственности, а ошибки распределяются равномерно. Чуть недоделок здесь, немного UX-шума там. Вроде ни у кого нет катастрофы, просто все чуть-чуть неидеальны, и это кажется нормальным.

Только пользователь не делит приложение на команды. Для него это один продукт, в котором постепенно копятся десятки мелких раздражителей.

Так А/Б-тесты превращаются в способ оправдать низкое качество. А вместе с этим исчезает ощущение, что продукт сделан классно и по-настоящему профессионально.

Про похожую проблему с качеством, но при работе с МВП уже писал в своём канале