Продолжаем тему про Call of Duty! Первая часть тут.

Самый ценный раздел: Результаты A/B тестов

Activision открыто делится результатами масштабных экспериментов, что является золотым стандартом в индустрии. В 2024 году они провели тест «Deprioritize Skill», ослабив влияние навыка на 50% популяции в Северной Америке. Результаты были «впечатляющими»:

· Возвращаемость игроков (14 дней): У 90% игроков количество возвращений в игру снизилось. Лишь у топ-10% самых skilled игроков этот показатель вырос.
· Вывод: Краткосрочная выгода для элиты наносит долгосрочный ущерб здоровью игрового пула.
· Процент выхода из матча (Quit Rate): Вырос у 80% игроков. Исторически этот показатель имеет сильную отрицательную корреляцию с «уровнем веселья».
· Количество разгромных побед (Blowouts): Увеличилось для всех. Разгромные победы также негативно коррелируют с «весельем».
· Kills Per Minute (KPM) / Score Per Minute (SPM): У низкоуровневых игроков KPM/SPM значительно упал, а у топ-10% — значительно вырос.

Главный инсайт: Система без учета навыка запускает негативную петлю обратной связи. Низкоуровневые игроки уходят, из-за чего средний скилл сообщества растет. Вчерашний игрок из топ-10% становится сегодняшним «середнячком», начинает проигрывать и тоже уходит. В итоге остается лишь небольшая группа элитных игроков, что вредит экосистеме в целом.

4. Механика подбора: Эвристики и NP-сложные задачи

Процесс поиска матча — это компромисс между качеством и скоростью. Алгоритм каждые 5 секунд пытается сгруппировать игроков, используя N-мерное расстояние между их «поисками»:

· Геолокация (широта/долгота)
· Навык (процентиль, взвешенный для сопоставимости с географией)

· Устройство ввода (контроллер или клавиатура/мышь)

Для балансировки команд используется модификация эвристики Кармаркара-Карпа для решения NP-трудной задачи k-partitioning. Это яркий пример применения теоретической компьютерной науки к реальной бизнес-проблеме, где необходимо найти «достаточно хорошее» решение за миллисекунды.

Что это значит для нас, как для аналитиков?

1. Приоритет долгосрочного здоровья продукта: Решения, основанные на данных, должны оценивать не только сиюминутные метрики (например, KPM для топовых игроков), но и долгосрочные эффекты, такие как удержание и здоровье всей экосистемы.
2. Сложность как необходимость: Простые ML-метрики часто не работают в вакууме. Необходимо учитывать устойчивость к манипуляциям, адаптивность и операционные ограничения.
3. Сила экспериментов: A/B тестирование — единственный способ по-настоящему понять причинно-следственные связи в сложных системах.
4. Компромисс — это нормально: Идеального Matchmaking не существует. Речь всегда идет о поиске баланса между скоростью, качеством связи, справедливостью и долгосрочной вовлеченностью.

Эта документация — блестящий пример data-driven подхода к проектированию сложных пользовательских систем. Она показывает, как с помощью экспериментов и строгого анализа можно принимать решения, которые хоть и могут быть непопулярными среди части комьюнити, но работают на благо продукта в долгосрочной перспективе.

Источник: Activision Publishing, Inc. "Matchmaking Series: The Role of Skill in Matchmaking" (2024).

Рекомендую к прочтению целиком.