TGViewer
Не AБы какие тесты Не AБы какие тесты @abba_testing · 1.8K subscribers
Post #101 1.62K
Привет, товарищи-статистики!

Прошло пару дней с наступления 25-го года, можно уже немного пошевелить мозгами, держите пост про фидуциальный вывод в статистике. Но пост будет больше как история, почти без математики, и не только потому, что ещё новогоднее настроение)

Сейчас в статистике превалируют два подхода:
- частотный (фреквенсистский) - некоторый параметр (среднее) неизвестен, но фиксирован, получаем данные, считаем точечное значение, строим доверительный интервал

- байесианский - есть некоторые предварительные (априорные) представления о параметре, - вероятности его значений, поэтому на основе данных мы обновляем (уточняем) наши представления, то есть получаем апостериорное распределение параметра.

И хотя если задать приор параметра в байесе максимально неопределенным, оба подхода в A/B сойдутся по результатам, превалирует все же частотный. Потому что любой приор параметра отличный от неопределенного сомнителен, так как субъективен: имея данные я могу по-разному задать априорное распределение, просто потому, что данные теряют актуальность с некоторым течением времени и истинное, например, Mu (среднее) также смещается, вопрос в том, какой период брать. Проблема-то в том, что разные приоры дают разные результаты при A/A тестах: один даст меньше ошибок 1-го рода, но больше 2-го рода, а чуть поменяешь его - наоборот, в общем так себе с контролем параметров. Поэтому-то частотники могут высказать о баейсианцах что-то вроде: “придумываете данные (приоры), а потом тесты свои проводите, получая каждый раз разное, фу!”. Подробнее критика A/B по Байесу тут.

...Но так ли далеко они друг от друга и, может, можно как-то подбирать “правильные” приоры? Думаю над этим.

Ведь на самом деле стат. подходов аж четыре штуки, к предыдущим прибавляются следующие:
- лайклихудистский (likelihoodism) - тут он так, просто к слову, но вообще, он уже известен тем, кто использует последовательное тестирование (sequential testing), в рамках таких тестов как SPRT и mSPRT. Вообще это близкий родственники байесианского: приор дает распределение вероятности значений параметра, которые в свою очередь используются для оценки правдоподобия (likelihood), то есть что данные были получены с учетом конкретной значения параметра.

- фидуциальный (fides - вера, доверие) - увы, умершее дитя Фишера, основная суть которого в выводе на базе данных правдоподобного (которому можно “доверять”) распределения для параметра, например для среднего - его распределение в абсолютных величинах. И вот про это и поговорим подробнее. Но предупрежу: это больше рассказать про то, что стало историей, а не то, что имеет место на практике.

Ёмко о фидуциальном выводе читаем далее
  • 👍 13
More from @abba_testing
  1. Sep 3, 2026Привет, товарищи-статистики! Обживаем Новый дивный мир аналитики в эпоху ИИ-агентов: не та…
  2. Jul 28, 2026Post #154
  3. Jun 5, 2026Товарищи-статистики, привет! Сегодня у меня реакт вида «утверждаем - а не обсуждаем» на по…
  4. May 14, 2026Надо стартовать 11-ый поток "Наглядное АB-тестирование: от основ до современных стандартов…
  5. May 14, 2026——— Привет, товарищи-статистики! Возрадуемся, ибо в апреле к науке статистике приобщилось…
  6. May 6, 2026Привет, товарищи-статистики! 2-в-1: Во-первых, 22 мая в Москве будет конференция AHA-26, о…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →