Рейтинг

Отзыв рейтингования у Challenger XVIII

На нескольких рейтингуемых турнирах из серии «Балтийский Бриз» регулярно нарушались сроки рассмотрения спорных и апелляций, зафиксированные в Положении о рейтинговании командных турниров. На основании этого у турнира с максимальным нарушением сроков — «Балтийский Бриз. Challenger XVIII» — отозвано рейтингование.

Последние турниры, при проведении которых нарушались сроки из Приложения Б Положения, — это Challenger XVIII (ID 12564), Challenger XIX (12567) и Masters XVI (ID 12654).

Команда Рейтинга более десяти раз указывала организатору этих турниров Георгию Талисайнену (ID 222641) на то, что эти нарушения необходимо устранить в кратчайшие сроки. Несмотря на это нарушения были устранены с опозданием: в частности, вердикты по апелляциям на упомянутых турнирах публиковались с задержкой от 9 до 23 дней*.

Учитывая, что подобные нарушения происходили регулярно, команда Рейтинга в соответствии с пунктом 3.2.3 Положения о рейтинговании командных турниров решила исключить из Рейтинг-листа результаты одного из этих турниров, на котором сроки нарушались в максимальной степени — Challenger XVIII (ID 12564).

3.2. Результаты турнира — частично или полностью — могут быть исключены из Рейтинг-листа в следующих случаях:
<...>
3.2.3. Если в сроки, установленные в п. 3.3, не опубликованы вердикты игрового или апелляционного жюри по зачёту или отклонению спорных или апелляций.
<...>
3.3. В общем случае срок, в течение которого оргкомитет турнира может исправить нарушения, — семь суток после истечения дедлайна, установленного Приложением, соответствующими документами Турнирного сайта или регламентом соответствующего турнира. Для результатов, составов и иной информации о турнире дедлайном считается подведение итогов турнира.

Кроме того, команда Рейтинга предупреждает Георгия Талисайнена, что при последующих нарушениях Положения будет реагировать строже.

Также команда Рейтинга напоминает и другим организаторам турниров о необходимости соблюдать сроки рассмотрения спорных и апелляций. Все они указаны на прикреплённом скриншоте. «X» в таблице обозначает момент завершения отыгрыша турнира. Числа везде указывают на количество суток.

Для отслеживания этих сроков можно, например, использовать Телеграм-бот @rating_chgk_info_helper_bot. Чтобы он напоминал о заявках или сроках рассмотрения спорных и апелляций, нужно использовать команду /subscribe и следовать дальнейшим инструкциям бота.

Напомним, что условия рейтингования турниров и требования к организаторам можно посмотреть в Положении. Связаться с командой Рейтинга — например, для консультации или чтобы указать на нарушение, можно по почте mail@chgk.gg.

Если же вы хотите поддержать работу рейтинга, реквизиты для криптодонатов есть в этом посте.
_________
* Challenger XVIII — 23 дня, Challenger XIX — 9 дней, Masters XVI — 13 дней.

О совмещениях в апелляционном жюри

Команде Рейтинга поступило обращение по поводу того, что на турнирах «Вокруг ёлки», «Вокруг света. Часть 3: Лед тронулся» и «Нижегородская сова. Выпуск 2», не соблюдалось Положение о рейтинговании командных турниров. В частности, на этих турнирах в апелляционном жюри состояли авторы отдельных вопросов пакета, что запрещает пункт 2.5 Положения.

Мы проверили эту информацию, и она подтвердилось. В апелляционное жюри упомянутых турниров входили Ирина Низамова, Илья Санников и Роман Федоренко. В пакетах всех трёх турниров были вопросы членов АЖ:
- в пакете турнира «Вокруг ёлки» это вопросы №№11, 18, 23, 29 и 31;
- в пакете турнира «Вокруг света. Часть 3: Лед тронулся» это вопросы №№1, 3, 12, 18 и 25.
- в пакете турнира «Нижегородская сова. Страшные истории» это вопросы №№3 и 7.

Учитывая, что на всех этих турнирах была всего одна апелляция — на вопрос №29 пакета «Нижегородская сова. Страшные истории», автором которого был Николай Федоренко, — мы решили, что в данном случае конфликта интересов при работе АЖ не возникло. Учитывая это, мы не будем исключать упомянутые турниры из рейтинг-листа.

При этом мы выносим организатору этих турниров — Николаю Федоренко (ID 136190) — предупреждение и напоминаем, что организаторы рейтинговых турниров обязаны соблюдать Положение о рейтинговании командных турниров.

О рейтинговании первого игрового дня чемпионата Санкт-Петербурга

Нам поступило два обращения по поводу того, соответствует ли проведение турнира «Первый игровой день Чемпионата Санкт-Петербурга по КВРМ» (ID 12805) условиям рейтингования из Положения о рейтинговании командных турниров.

Этот чемпионат проводится по системе микроматчей, и отдельные туры в каждом из четырёх игровых дней проходят на вопросах команд-участниц. При этом каждый из игровых дней организаторы планировали учитывать в рейтинге как отдельный турнир. Места в таком турнире должны были распределяться по числу взятых вопросов. Результаты команд, проводящих туры, организаторы решили не включать, поскольку они играли не 45 вопросов, как большинство участников, а только 30. Всё это выяснилось уже после окончания самой игры, поскольку до начала первого игрового дня регламент турнира опубликован не был.

Что решили? Команда Рейтинга обсудила эту ситуацию и пришла к следующим выводам. Отсутствие опубликованного регламента на момент начала турнира — это нарушение пункта 1.1 правил КВРМ и, следовательно, пункта 2.3 Положения о рейтинговании. В общем случае, когда при рейтинговании учитываются результаты всех участников турнира и места распределяются по сумме взятых вопросов, это нарушение можно признать не столь существенным*, однако в данном случае ситуация иная.

Дело в том, что ключевой принцип, на котором основаны условия рейтингования, состоит в том, чтобы участники заранее знали все условия проведения турнира. В частности, они должны знать, в каких случаях их результаты не будут учитываться при рейтинговании турнира, чтобы заранее решить, хотят ли они участвовать в турнире при таких условиях.

Учитывая, что при проведении Первого игрового дня ЧСПб этот принцип не соблюдался, команда Рейтинга решила отозвать у него рейтингование.

Рекомендации. Чтобы избежать подобных ситуаций впредь, команда Рейтинга рекомендует тем организаторам, которые хотят, чтобы их турниры учитывались в рейтинге, готовить и публиковать регламенты заранее. Если вы сомневаетесь, удовлетворяют ли какие-то особенности вашего турнира Положению о рейтинговании, можете писать нам на mail@chgk.gg — мы подскажем.

Кроме того, рекомендуем способ, с помощью которого можно учитывать в рейтинге турниры по системе микроматчей, не удаляя результаты команд, проводящих туры. В этом случае результаты на турнирный сайт нужно будет загружать в два этапа.

На первом этапе нужно загрузить расплюсовку в потуровом формате. Причём если команда А проводит тур, то соответствующей ей строки в блоке с первым туром быть не должно. То есть не нужно проставлять нули, просто не включайте строку с id этой команды. Пример такой таблицы здесь.

Затем нужно будет загрузить места команд, полученные в соответствии с системой микроматчей. Сделать это нужно через окошко «Загрузка мест команд». Пример подобного файла тут.

Если на каком-то из этих этапов вы столкнётесь с проблемами, пишите команде турнирного сайта на r-chgk@yandex.ru, они помогут разобраться.
_______
* Например, так мы посчитали при рассмотрении ситуаций с «Пущинскими далями» или турниром в Дюссельдорфе.

Сайт ожил, пересчёты постепенно нагонят свежие результаты.
Убедили одну машину взять на себя ответственность. Вторая стала считать, что главной должна быть либо она сама, либо пустая строка, и её пришлось отправить на ферму. Её замена ещё не вполне готова, поэтому какое-то время страницы иногда могут открываться медленно или не открываться вовсе.

Сайт временно не работает.
fly.io перенёс базу данных в другой датацентр, и это смутило машины с ней: теперь обе считают, что они всего лишь реплики и что управлять всем должна другая. Пускать на сервер человека, чтобы переубедить их, они пока тоже не хотят.

Мы исправили баг в расчёте рейтинга. В результате пересчёта рейтинги команд уменьшились, но почти все изменения мест невелики (в топ-10 не поменялось ничего, 38 команд в топ-100 остались на том же месте, ещё 38 подвинулись на одно место вверх или вниз).

Мы подготовили таблицу, в которой можно оценить, насколько изменились рейтинги и места команд.

Что это был за баг?

Чтобы определить прогнозное место команды в турнире, мы (среди прочего) сравниваем технический рейтинг состава команды на турнире с её базовым составом (пункт А.4.4). Если команда с релизным рейтингом 10000 собралась более слабым составом, чем базовый, то её турнирный рейтинг может быть, например, 9000, и прогнозное место понизится соответственно.

Чтобы посчитать технический рейтинг базового состава, нам нужно знать, какие игроки входят в этот состав на дату рассчитываемого релиза. Функция get_base_teams_for_players делала это неправильно: вместо запроса «игроки, у которых дата выхода из состава позднее, чем дата релиза (или у которых даты выхода нет» она делала запрос «игроки, у которых дата выхода из состава раньше даты релиза (или у которых даты выхода нет)».

(В терминах Django это выглядело как Q(start_date=None) | Q(start_date__lte=release_date), Q(end_date=None) | Q(end_date__lte=release_date), то есть, вероятно, к ошибке привёл неправильный копипаст. Правильный запрос — Q(start_date__lte=release_date), Q(end_date=None) | Q(end_date__gt=release_date). Изменение в коде можно увидеть тут.)

Подавляющее большинство игроков (97,8% в сезоне 23/24, 97,2% в сезоне 22/23) после добавления в базовый состав не выходят до конца сезона, поэтому для большинства команд мы получали правильные базовые составы. Для этих команд места после пересчёта изменились мало.

Некоторые команды подвинулись заметнее.

Команда «Я просто медленно пишу» упала примерно на десять мест из-за того, что в её базовом составе со 2 октября осталось только 5 человек, и когда они играют вшестером, формула теперь замечает, что происходит усиление по сравнению с базовым составом (раньше запрос ошибочно возвращал базовый состав из шести игроков).

Команда «Мир» выпала из первой сотни в третью иначе. В старой версии кода они поднялись с 396-го места на 60-е в релизе 16 января, когда добавили трёх игроков в базовый состав. Это правильное поведение формулы: если команда меняет базовый состав сильно (настолько, что технический рейтинг гораздо выше релизного), мы присваиваем ей 80% нового техрейтинга (команда с новым сильным составом поднималась бы и постепенно, получая бонусы за турниры, но мы ускоряем этот процесс). Но команда «Мир» добавила этих игроков всего на несколько дней (с 10 по 15 января), и когда мы исправили запрос за базовыми игроками, сброс рейтинга для неё перестал происходить: в релизе 9 января в БС было три человека, в релизе 16 января — тоже три.

Что мы делаем, чтобы предотвратить подобные баги в будущем?

С одной стороны, только что исправленную проблему могли бы обнаружить тесты функции get_base_teams_for_players, и мы действительно улучшим покрытие тестами. С другой, то, что правила и реализация совпадают, проверить сложнее, и для этого мы собираемся перечитать и переписать код, чтобы соотношения между пунктами правил и этапами расчётов были яснее.

Спасибо Михаилу Савченкову за сообщение о том, что числа не сходятся, благодаря чему нам удалось найти и исправить эту ошибку.

На турнирном сайте открылась возможность вводить базовые составы на следующий сезон (2025/2026). Так что если вы уже определились с теми, кто будет играть за вашу команду на постоянной основе с 29 августа 2025 года по 28 августа 2026-го, читайте инструкцию в телеграм-канале турнирного сайта.

При этом на всякий случай уточним, что это просто возможность заранее ввести БС, до 29 августа 2025 года рейтинг всё ещё будет обсчитываться по базовым составам текущего сезона (2024/2025).

О ситуации на фестивале «Пущинские дали»

Команда Рейтинга получила обращение с просьбой разобраться в ситуации, произошедшей на фестивале «Пущинские дали» (ID 12270). По словам заявителя, у этого турнира не было регламента. Кроме того, организатор турнира Данила Аладин решил снять четыре вопроса шестого тура. Это, по словам автора обращения, было сделано «под давлением представителей команд, заинтересованных в изменении распределения призовых мест».

Мы изучили информацию об этом турнире, которая была в публичных источниках, а также расспросили некоторых участников и организатора турнира Данилу Аладина в личном порядке. Что удалось выяснить:
- проблемы разного рода, связанные с ведением, наблюдались на протяжении всего турнира.
- у турнира действительно не было регламента.
- снять четыре вопроса шестого тура Данила Аладин решил единолично, как единственный член оргкомитета, занимавшийся непосредственной организацией.
- решение, по словам Аладина, принималось по устным протестам представителей разных команд, в которых говорилось, что прочитанный вопрос сильно отличался от авторского текста.
- положение команд в результате снятия четырёх вопросов шестого тура изменилось таким образом.

В правилах КВРМ говорится, что «соревнование должно иметь собственный регламент, положения которого не должны противоречить настоящим Правилам». Это положение правил на турнире с ID 12270 было нарушено. При этом, поскольку при проведении турнира не были нарушены иные положения правил КВРМ, а также Положения о рейтинговании командных турниров, команда Рейтинга решила не отзывать рейтингование у этого турнира.

При этом мы обращаем внимание организаторов турниров — в первую очередь очных, — что наличие регламента позволяет избежать многих неприятных ситуаций и рекомендуем всё же иметь регламент. В ближайшее время мы опубликуем шаблон регламента, в котором выполнялись бы базовые требования правил КВРМ и Положения о рейтинговании командных турниров.

Кроме того, мы не рекомендуем организаторам турниров снимать вопросы по собственному решению, минуя институт апелляций. В правилах описаны только три случая, при которых вопрос может быть снят — при удовлетворении апелляций на некорректность вопроса (пункт 1.6.2), на ошибку в воспроизведении вопроса (пункт 1.6.3) и на ошибку в переводе вопроса (пункт 1.6.4). То, что подобная ситуация не описана в правилах, не говорит о том, что она запрещена, но и не говорит о том, что она разрешена. Поэтому действуйте, пожалуйста, в рамках правил — тогда будет меньше рисков, что у вашего турнира может быть отозвано рейтингование.

Если вам нужно проконсультироваться по каким-то вопросам, связанным с рейтингованием, пишите на почту mail@chgk.gg, в личные сообщения или комментарии канала @rating_chgk_gg.

Upd от 31.07.2025. Изначально в решении говорилось, что правила КВРМ не требуют, чтобы у турнира был регламент. На самом деле это не так: правила как раз этого требуют. Просим прощения за эту ошибку и благодарим Сергея Януковича за то, что он обратил на это внимание.

После публикации предыдущего поста к нам обратилось апелляционное жюри «Очного турнира с Борисом Бурдой в Дюссельдорфе». Как оказалось, оно существовало, просто организаторы по каким-то причинам решили не публиковать его полный состав.

Учитывая существование АЖ, а также то, что апелляций на турнире не было, команда Рейтинга решила вернуть рейтингование турниру 12189.

При этом если в течение двух ближайших лет организаторы «Очного турнира с Борисом Бурдой в Дюссельдорфе» нарушат требования Положения о рейтинговании командных турниров, то при вынесении наказаний мы не будем проявлять снисхождение.

Отзыв рейтингования у турнира 12189

В соответствии с пунктами 2.3 и 2.7.1 Положения о рейтинговании командных турниров у рейтингуемого турнира в АЖ должно быть не менее трёх человек. Кроме того, информация о составе АЖ должна быть опубликована на турнирном сайте до начала турнира.

У «Очного турнира с Борисом Бурдой в Дюссельдорфе» (ID 12189) подобной информации опубликовано не было. На запрос команды Рейтинга о составе АЖ организаторы не ответили.

Поэтому в соответствии с пунктом 3.2.2 Положения у этого турнира отозвано рейтингование.

И сайт, и расчёты снова работают.

Рейтинг временно недоступен

Из-за инцидента у fly.io (хостинга, на котором работает рейтинг), рестарт базы происходит уже больше получаса. Создать копию базы из-за инцидента тоже нельзя, поэтому пока только ждём апдейтов.

Положение о рейтинговании командных турниров

Первое время наш рейтинг работал с минимумом документации. Исправляем эту ситуацию и публикуем Положение о рейтинговании командных турниров. Ссылка на него будет в шапке сайта рейтинга, а также в описании канала и закреплённом сообщении.

Кроме уже публиковавшихся ранее требований к организаторам рейтингуемых турниров в Положении можно найти алгоритм подсчёта Рейтинга, а также принципы, по которым это Положение может изменяться.

Мы предполагаем, что важные изменения будут утверждаться на голосовании. Над порядком этого голосования мы ещё работаем, и опубликуем его чуть позже в Приложении В к Положению.

Напоминание организаторам

Если вы хотите, чтобы ваш турнир учитывался в нашем рейтинге, в самом общем случае нужно до его начала сделать следующие действия:
1. Создать его страницу на турнирном сайте (rating.chgk.info)
2. При создании или редактировании настроек турнира нужно выбрать «Правила КВРМ» и отметить появляющийся после этого чекбокс «Рейтинг».
3. Указать полный состав редакторов, игрового и апелляционного жюри. При этом, согласно правилам, роли члена ИЖ или АЖ нельзя совмещать с ролью игрока.

После окончания турнира нужно в сроки (см. скрин) загрузить результаты и составы, рассмотреть спорные и апелляции.

Все требования можно посмотреть по этой ссылке, также ссылка на этот документ есть в шапке сайта рейтинга.

Мы готовы прощать некоторые нарушения, но если они будут повторяться систематически, то мы будем вынуждены отзывать у турниров рейтингование.

Первое предупреждение по поводу систематических нарушений есть у Константина Сахарова (ID 28379) — на турнирах, где он был организатором, неоднократно был указан неполный состав АЖ.

TrueDL не пересчитывался неделю. Приносим извинения.
Пересчитали, сделали шаги к тому, чтобы это не произошло снова.

Непосредственная причина была в том, что обновление TrueDL запускалось только после успешного пересчёта всего рейтинга с 2021 года. Этот пересчёт примерно неделю крэшился на полпути.
Теперь мы будем запускать обновление TrueDL, даже если что-то сломалось в пересчёте рейтинга.
Отдельно изучим, почему расчёт рейтинга хотел вставить в таблицу уже существующий айди (на что база данных резонно отвечала «нет», и процесс пересчёта заканчивался раньше времени).

Модераторы турнирного сайта и рейтинг

Как вы, возможно, слышали, у турнирного сайта появились модераторы, которые будут следить за соблюдением правил игры. По соглашению с командой турнирного сайта мы будем учитывать решения модераторов при ведении рейтинга.

Вкратце идея такая: если человек дисквалифицирован как игрок, но результаты команды с ним окажутся среди прочих результатов рейтингового турнира, организаторы этого турнира будут обязаны удалить эти результаты в течение некоторого срока. Если человек отстранён в иных качествах (например, представителя или организатора), эти моменты будут решаться на уровне турнирного сайта. Например, если в заявке будет указан дисквалифицированный ведущий, её нельзя будет подать, а если в настройках турнира указать дисквалифицированного редактора, то эти настройки нельзя будет сохранить.

Чуть позже опубликуем документ, в котором всё это будет описано в более чётком виде. Это будет дополнением действующих сейчас требований к рейтингованию.

Рейтинг pinned «Самое главное по поводу рейтинга 1. Для связи с командой рейтинга можно использовать почту mail@chgk.gg и комментарии этого канала. Вопросы вида «мой турнир имеет некую особенность, можно ли его рейтинговать?» лучше присылать на почту. 2. Требования к рейтингуемым…»

Самое главное по поводу рейтинга

1. Для связи с командой рейтинга можно использовать почту mail@chgk.gg и комментарии этого канала. Вопросы вида «мой турнир имеет некую особенность, можно ли его рейтинговать?» лучше присылать на почту.

2. Требования к рейтингуемым турнирам, описание формулы рейтинга и иные вещи о рейтинге можно найти в Положении о рейтинговании командных турниров.

3. Решения команды Рейтинга:
- о турнире в Дюссельдорфе (раз, два)
- о турнире «Пущинские дали»
- о первом игровом дне ЧСПб

4. Поддержать разработку рейтинга можно криптодонатами:
ETH: 0xe0Bc32C1C0c2CA483A84C7FD26cA4d2ae8f53ae0
SOL: CBZnyccJKHN9d1oG54tnKudJBhn5BjdWf398GizHdKbz
BTC: 3NVuzLqXrE5akaE7iXXMBuYWroiAnPV4BM
Monero: 45wPcA7Skp2AuD791wAjnC1xEtoLqPWwEfqddu1CUq4MaAXXocDGVpKHZKJ6eX2Pwxg7uZx5rXbEjJDiciazkzgr1aPkJXV

Добавили тёмную тему.

Channel created