Обратные тесты или почему в Авито свернут блок похожих объявлений

Обратите внимание на статью Жени Чумаченко про обратные тесты. Обратные тесты - это когда вы отключаете какой-то функционал и смотрите что происходит.

Женя в статье раскрыл топ инсайт 🔥, который мне в свое время очень зашел. Возможно вы видели, что в Авито свернут блок похожих объявлений на карточке товара. Странно, да? Это не просто так сделано 🧠 Там на самом деле долгая история, за которой отправлю в первоисточник. Если кратко, то решение свернуть блок было принято после обратных тестов.

Вообще, обратные тесты - это очень сильный инструмент. Особенно для ML моделей. Вот есть у вас какая-то модель которую вы регулярно обновляете по результатам зеленых АВ

- Сохранятся ли модельные аплифты во времени?
- Сохранятся ли модельные аплифты при раскатках значимых изменений системы в целом?

Неизвестно) Поэтому периодически мы делаем обратные тесты на совсем старой версии модели. Так мы проверяем, какой эффект реально остался после условных 6 месяцев бурных выкаток. И иногда результаты нас не радуют 😅

Проводите ли вы обратные тесты? Есть ли у вас истории, как ухудшающий по дизайну тест оказался улучшающим? 😄

#tech