TGViewer
AB тесты и все вот про это вот все AB тесты и все вот про это вот все @abtesting_full · 1.87K subscribers
Post #115 184

Forwarded from Trisigma — про эксперименты

Еще раз про ratio.

Коллеги из VK делятся своим опытом работы с ratio метриками. В статье ребята сравнивают разные способы работы с ratio и оценивают чувствительность этих методов при помощи моделирования a/a тестов.
https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Рассматриваются следующие инструменты, про многие из них мы уже писали раньше:
1) Дельта-метод для оценки дисперсии ratio
2) CUPED для ratio – про возможности CUPED для ratio метрик говорят редко, но в исходной статье есть целый раздел для приманения. Для оценки дисперсии коллеги из MS рекомендуют использовать дельта-метод.
3) Линеаризация от Яндекс
4) Bootstrap для ratio
5) Intra-user correlation – в научной среде для таких кейсов часто используют block bootstrap, но коллеги из ebay предлагают простое и доступное решение
Medium Practitioner’s Guide to Statistical Tests Hi, we are Nikita and Daniel from the CoreML team at VK. It’s our job to design and improve recommender systems for friends, music, videos…
More from @abtesting_full
  1. May 26, 2026Всем привет! А еще мы в SberDevices ищем middle продуктового аналитика в наше ТВ-направлен…
  2. May 13, 2026Ребят, привет! 🔵Это Искандер. Мы с командой Trisigma сделали хендбук по A/B-тестированию.…
  3. Apr 16, 2026Аналитик-инженер Наши устройства и другие системы генерируют большие объемы данных самого…
  4. Apr 16, 2026Дата-аналитики Да, мы ищем сразу несколько человек Мы — дата-аналитики виртуального ассист…
  5. Apr 16, 2026Всем привет! Мы нанимаем аналитиков. Отличные, прекрасные вакансии в SberDevices. У нас от…
  6. Apr 13, 2026Привет, это Вит Черемисинов. 🔵В марте у меня вышло ещё одно большое интервью в подкасте D…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →