Чем отличается АБ тест и пилотный эксперимент?

АБ тест
АБ тест проводится тогда когда у нас есть некоторый предмет, который мы хотим изменить и посмотреть как изменится эффект от него (метрики). Например есть страница на сайте с формой сбора контактов, сделали копию страницы и новую форму, запускаем АБ тест с 2 версиями страницы и сравниваем метрики по вариантам. Думаю тут всем все понятно.

Пилотный эксперимент
Пилот - это запуск какого-то абсолютно нового, продукта, проекта, функциональности, которой раньше не существовало.

Например, работал бизнес всю жизнь в оффлайне, но решил, что надо попробовать привлекать клиентов онлайн. Запустили сайт, у нас нет другого сайта, который мы можем поставить в АБ тест, чтобы сравнить их эффективность.

Задача пилотного эксперимента - оценка реальности. Обычно у нас есть некоторые ожидания как наш новый сайт/продукт/etc буду вести себя в реальных условиях. Под ожиданиями я имею в виду метрики.

Обычно когда запускают новый онлайн-продукт заранее просчитывают разные модели юнит-экономики, при которых мы будем зарабатывать или получим убыток. Но это только модели мы не знаем как на самом деле отреагирует рынок на то что мы сделали, вот тут и нужен пилотный запуск (эксперимент).

Наша задача во время пилотного запуска показать наш продукт целевой аудитории (привлечь трафик). Собрать определенную выборку для того чтобы с определенной точностью оценить метрики, которые мы потом сможем сравнить с метриками заранее просчитанных моделей юнит-экономики и понять стоит ли нам масштабировать продукт в текущем виде или нам нужно что-то переделать.

При пилотных запусках также как и при АБ тестах важно правильно выбрать релевантную аудиторию и создать репрезентативную выборку. Вы можете создать реально классный продукт и правильно его позиционировать, но если привлечете нецелевую аудиторию, то метрики вам скажут что ваша продукт убыточен.

Кроме этого важно помнить, что метрики, которые мы видим - это оценки, а не истинные значения генеральной совокупности. Поэтому важно помнить, что почти любая метрика обладает дисперсией, а значит у нас всегда будет ошибка при оценке.

Чтобы минимизировать ошибку нам нужны выборки определенного размера, на которых мы сможем достаточно точно оценить истинные значения этих метрик, чтобы сделать вывод о эффективности нашей модели экономики.