Поскольку интерес к рейтингам спортивного ЧГК заметно повысился, настало время создать единый стандарт сравнения предсказательных моделей.

Предлагаю следующие принципы:
1. Нас интересует исключительно предсказательная сила модели. Красота формул, математическая элегантность и соответствие представлениям отдельных ЧГКшников о справедливости рейтинга нас не волнуют примерно никак.
2. Полная свобода алгоритмов. Модель может использовать любые коэффициенты, поправки и вообще любую логику. Хочет штрафовать игроков с фамилией на «Л» — пожалуйста. Хочет вводить персональную поправку на Туроверова — изи. Главное, чтобы это помогало предсказывать результаты.
3. Оцениваем только очники и строгие синхроны. Никаких асинхронных турниров с разными условиями проведения.
4. Используем две метрики:
Pairwise Score (Global) — насколько правильно модель предсказывает взаимное расположение всех команд турнира.
Pairwise Score (Top 10%) — то же самое, но только для сильнейших 10% команд по фактическим результатам турнира.
5. Ничьи учитываем явно. Для каждой пары команд начисляем 1 балл за правильный прогноз, 0 за неправильный и 0,5, если ничья была только в прогнозе или только в результате. Правильно предсказанная ничья даёт 1 балл. Итоговая оценка — процент от максимально возможного количества баллов.
6. Сравниваем модели на одинаковых турнирах. Прогнозы фиксируются до начала игры, а результаты агрегируются по всем турнирам. Никаких подгонок задним числом.