Я тут недавно участвовал в Orbit Wars и почти всё время болтался между бронзой и серебром. Скор иногда подкидывало в золото, но потом сразу оседало обратно
В итоге – первое серебро в соло. Призовой фонд был $50k, мне из него не досталось ничего – зато медалька на месте, уже добавил в резюме
Напомню, что за сорева:
Orbit Wars – космическая RTS: планеты крутятся вокруг солнца и клепают корабли, ты запускаешь флоты и захватываешь чужое численным перевесом. Пишешь не ходы, а бота, который играет сам за себя. Скор – живой рейтинг: твой бот круглосуточно рубится с ботами других участников, выиграл – вверх, проиграл – вниз
Дальше – мой заход на грабли, строго по порядку
Ещё в середине соревы я решил, что дальше меня вытянет только нейронка. Обучил сеть клонировать ходы топов лидерборда – 1.4 млн примеров состояние→ход. Запустил как самостоятельного бота и получил 0 побед из 150 против обычной эвристики
Почему: клон ошибается примерно в трети решений, за 500 ходов ошибки копятся снежным комом, и партия сваливается в труху уже к 110-му ходу. Чистое клонирование в принципе не может быть сильнее того, кого клонирует
Ладно, обучу с нуля через self-play. Дважды провал – без масштаба и GPU обучение просто дрейфует в тупик и учится бить только своих же предков. Решил оценивать позицию отдельной моделью. Опять мимо
А сработало вот что – нейронка не как игрок, а как советчик. Есть сильная публичная эвристика, которая считает выгоду каждого запуска флота. Я к её оценке добавил маленькую подсказку от сети: насколько ход похож на то, что делают топы. Выкрутил силу этой подсказки – и винрейт против базы прыгнул с 60 до 72%
Это был первый статзначимый прирост за всё соревнование. Всё остальное – 12 стратегических тюнингов, свои эвристики – давало честный ноль
Два вывода, которые забираю с собой:
🏋️♂️ Подсказка сильнее клона. В играх с длинным горизонтом чистый клон захлёбывается на накопленных ошибках, а мягкий прайор поверх проверенной эвристики берёт лучшее из двух миров
🎉 Иногда правильный ход – вообще не тащить ML. Ту позицию, что я пытался оценивать нейронкой, почти идеально предсказывала одна простая фича – разница в числе кораблей
А золото – там сидят боты на голову выше, и туда нужна была полноценная нейронка-драйвер плюс тяжёлый RL на GPU-масштабе. Вот тут рассказывали, кто оказался в золоте
@tagir_analyzes