Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos [2022] - о том, как нейросеть проходит Minecraft.

Одна из популярных задач для RL - это создание алмазной кирки в Minecraft. Она требует огромного числа скоординированных действий и занимает минуты. В данной работе её частично решают:

1) Сначала обучают нейросеть, которая по двум соседним кадрам предсказывает сделанное действие (как тут), для этого специально собирают датасет из 2 тысяч часов видео.
2) Этой нейросетью размечают 70 тысяч часов видео с игрой в Minecraft c ютуба.
3) Тренируют агента копировать действия игроков из этого датасета - это первый этап обучения (VPT).
4) Собирают специальный датасет, где просят людей заниматься базовыми активностями в майнкрафте, характерными для начала игры - например, постройкой дома. Этих данных меньше, чем в пункте 2, но они более качественные и ближе к основной задаче.
5) На этом датасете файнтюнят агента - это второй этап обучения (Early-Game).
6) Наконец, с помощью RL начинают учить агента собирать алмазную кирку. Здесь есть нюанс: используется не только награда за финальную цель, но и награда за каждую из >10 промежуточных целей, без которых финальную невозможно достичь. Также используют KL-регуляризацию, чтобы сильно не уходить от претрейна.

Что в результате? Нейросеть за 10 минут справляется в 2.5% случаев, человек в 12%. Интересно, что с задачей "найти алмаз" нейросеть справляется в 20% случаев, а человек в 15%. Если ты нашёл 3 алмаза, ты можешь сразу же сделать себе кирку, и конверсия из алмазов в кирку у человека, равная 80%, говорит о том, что это должно быть простым переходом.
Нейросеть, однако, конвертирует алмазы в кирку всего в 10% случаев. То есть либо она не способна добыть 3 алмаза из месторождения, либо не может потом сделать кирку. Так что, подходу точно есть куда расти, но интересно, что хоть какой-то процент успеха есть!

На графиках можно наблюдать то, насколько принципиальным является претрейн в этой задаче.

Более детальные обзоры: раз и два.

@knowledge_accumulator