Post #136
242
Интеллектуальный фотофиниш (продолжение)
И так, у нас есть задача, которую мы хотим решить. Теперь нужно эту задачу уточнить и формализовать.
Мы хотим понять, можно ли использовать те или иные доп показатели, т.е. измеряем их предсказательную силу, если она высокая, то показатель хороший. Если он предсказывает с точностью подброшенной монетки, то плохой.
Предсказываем мы по факту игровую силу команд здесь и сейчас. А точнее, их силу в ближайшем будущем, на том же турнире, в тех же составах.
Дополнительные показатели нужны для того, чтобы распределять кубки, медали и выводящие месте. В остальном случае ничего плохого нет в том, чтобы разделить места.
Примем за аксиому, что лучший дополнительный показатель - это ещё поиграть, то есть перестрелка. Я знаю, что есть иная точка зрения. Но она не так популярная, а наличие перестрелки в регламенте вызывает наименьшее количество возмущений. Поэтому рассматривать будем случаи, когда перестрелку проводить не получится.
Использовав уточнения выше, можно свести задачу к достаточно конкретной. Нам нужно научиться с помощью доппоказателей предсказывать результат "виртуальной перестрелки". Для этого мы из каждого турнира "отщипнём" небольшой набор вопросов (допустим, 8 штук), считаем доппоказатели по основной части и пытаемся предсказать результат команды на "дополнительной". Это максимально приближенная к жизни симуляция перестрелки, которую можно придумать.
Разумеется, получившийся результат надо сравнить
- со случайной тасовкой команд, выше результатов которой нужно быть всегда
- с прогнозом по стартовому рейтингу, это, наоборот, будет "оценка сверху", точность, которую не так просто получить
- с прогнозом "по взятым вопросам", т.к. нам критичны именно случаи, когда этого показателя недостаточно
Как будем измерять точность? Нам нужно "надеть" набор команд на набор итоговых мест от первого до последнего. Это называется задачей ранжирования. Умные люди считают, что лучше всего для этого подходит метрика под названием NDCG (Normalized Discounted Cumulative Gain). Решения будем по ней принимать, но за компанию бахнем и старую добрую точность (т.е. долю команд, которые заняли ровно то место, что им предсказали).
Измерять результат мы будем отдельно для трёх сегментов команд:
- лучших 10%,
- следующих 40%
- и худших 50% по стартовому рейтингу команд
Есть все основания считать, что эти сегменты будут вести себя по-разному.
Исходя из наших целей, в качестве результата будем брать только "верхний" сегмент, остальные просто посмотрим.
Таким образом мы для каждого турнира получим число, которое показывает, как хорошо на нём мы можем предсказать "виртуальную перестрелку". Дальше мы усредним это результат по всем турнирам за какое-то долгое время, взвесив турниры по числу команд. Полученные числа будут что-то говорить уже не о турнирах или командах, а о самих методах.
Такой план. Как думаете, сработает?
И так, у нас есть задача, которую мы хотим решить. Теперь нужно эту задачу уточнить и формализовать.
Мы хотим понять, можно ли использовать те или иные доп показатели, т.е. измеряем их предсказательную силу, если она высокая, то показатель хороший. Если он предсказывает с точностью подброшенной монетки, то плохой.
Предсказываем мы по факту игровую силу команд здесь и сейчас. А точнее, их силу в ближайшем будущем, на том же турнире, в тех же составах.
Дополнительные показатели нужны для того, чтобы распределять кубки, медали и выводящие месте. В остальном случае ничего плохого нет в том, чтобы разделить места.
Примем за аксиому, что лучший дополнительный показатель - это ещё поиграть, то есть перестрелка. Я знаю, что есть иная точка зрения. Но она не так популярная, а наличие перестрелки в регламенте вызывает наименьшее количество возмущений. Поэтому рассматривать будем случаи, когда перестрелку проводить не получится.
Использовав уточнения выше, можно свести задачу к достаточно конкретной. Нам нужно научиться с помощью доппоказателей предсказывать результат "виртуальной перестрелки". Для этого мы из каждого турнира "отщипнём" небольшой набор вопросов (допустим, 8 штук), считаем доппоказатели по основной части и пытаемся предсказать результат команды на "дополнительной". Это максимально приближенная к жизни симуляция перестрелки, которую можно придумать.
Разумеется, получившийся результат надо сравнить
- со случайной тасовкой команд, выше результатов которой нужно быть всегда
- с прогнозом по стартовому рейтингу, это, наоборот, будет "оценка сверху", точность, которую не так просто получить
- с прогнозом "по взятым вопросам", т.к. нам критичны именно случаи, когда этого показателя недостаточно
Как будем измерять точность? Нам нужно "надеть" набор команд на набор итоговых мест от первого до последнего. Это называется задачей ранжирования. Умные люди считают, что лучше всего для этого подходит метрика под названием NDCG (Normalized Discounted Cumulative Gain). Решения будем по ней принимать, но за компанию бахнем и старую добрую точность (т.е. долю команд, которые заняли ровно то место, что им предсказали).
Измерять результат мы будем отдельно для трёх сегментов команд:
- лучших 10%,
- следующих 40%
- и худших 50% по стартовому рейтингу команд
Есть все основания считать, что эти сегменты будут вести себя по-разному.
Исходя из наших целей, в качестве результата будем брать только "верхний" сегмент, остальные просто посмотрим.
Таким образом мы для каждого турнира получим число, которое показывает, как хорошо на нём мы можем предсказать "виртуальную перестрелку". Дальше мы усредним это результат по всем турнирам за какое-то долгое время, взвесив турниры по числу команд. Полученные числа будут что-то говорить уже не о турнирах или командах, а о самих методах.
Такой план. Как думаете, сработает?
- ✍ 1
