Настало время подводить итоги соревнования Kaggriculture.
Отмечу, что для меня это второе соревнование по RL (после Orbit Wars), судя по всему снова не удача (бультыхаемся прямо под бронзой, не заходя туда). Динамика положительная, это радует.
- Какие основные выводы я вынес?
1️⃣Прежде всего, RL соревнования это не создание бота против среды, а создание бота против игроков, то есть топ в середине соревнования не гарантирует топ в конце. Мы были в середине соревнования в топ-350, но каждый день соперники становились сильнее, создавая контр-стратегии.
2️⃣В продолжение пункта 1, становится явным как добиваться успеха. Почти весь топ сейчас - BC модели (клонирование поведения лучших моделей) + PPO дообучение. Это подтверждают и мои изыкскания: чистый PPO с нуля ничего в данном соревнование не дает, так как любой изъян reward функции приводил к его абьюзу, иногда делая странные ходы (например сразу купить кучу рабочих или коров, без корма для них).
3️⃣К сожалению, RL это почти всегда Pay to Win. В топе ребята с кластерами, которые они активно мучали обучением и играми в промышленных масштабах.
4️⃣Арена это важно. Лучшая симуляция LB и "кросс-валидация" - арена против всех открытых решений, особенно с топ скором. К сожалению, если играть исключительно против своего лучшего, можно обжечься, это очень важный инсайт. Хотя в целом, в классических соревнованиях такой подход дает результат, но не тут. Много гипотез, улучшавших наш лучший подход разваливались против пабликов, это одновременно очевидно и нет, что нужно играть против всего, что возможно.
Подробнее про изыскания, можно почитать у Марка, он хорошо описал, не хочу повторяться.
- Почему мне понравилось данное соревнование?
1️⃣В конце, честно говоря мы до последнего работали со стратегиями игры, но игнорировали стратегии продажи, как оказалось, это давало гораздо больше вклада, так как стратегию противника можно сломать, если обрушить ему рынок или продать раньше. То есть, почти весь топ этим занимается. Не очевидный, но очень интересный результат.
2️⃣Русскоязычное community и агенты дало просто кладезь мемов про это соревнование.
Claude Code называл совместное решение колхозом.
Стратегии, которые получали в народе имена заставляли меня улыбаться каждый раз. Прежде всего, стратегии получили названия шахматных партий: дебюты, эндшпили и тд, совмещая с кратким описанием стратегии.
Я выписал топ:
🔸дынный дебют/антидынный антипаблик
🔸гусиный эндшпиль/душение гуся/aгрессивные гуси
🔸шерстяной контроль
🔸быстрый потоп клубникой
🔸душение пшеницей
🔸томатный кризис
Согласитесь, это довольно таки забавно.
Вдвойне смешнее, когда ты в моменте, анализируя игру своей модели, замечаешь эти паттерны, понимая о чем пишут люди.
К сожалению, поиграть в игру у меня не удалось, в браузере она почему-то лагала, но в целом наблюдать за игрой было довольно весело.
Теперь осталось подождать 10 дней и получить финальный вердикт.
Варианта 2: либо бронза в штанах будет💩, либо на шее🥉.
#соревнования