🥁NetHack Challenge на NeurIPS 2021 от Facebook: open-source проект для обучения с подкреплением в игровой форме
Многие успехи в области обучения с подкреплением (RL, Reinforcement Learning) были достигнуты благодаря имитационным средам в таких играх, как Dota 2, Minecraft и StarCraft II. Но это требует большого объема вычислений на тысячах графических процессоров одновременно только для одного эксперимента. Чтобы снизить стоимость RL-моделирования, Facebook в 2020 году инициировал разработку open-source проекта NetHack Learning Environment. А в 2021 году Facebook объявил о конкурсе NeurIPS 2021 в рамках NetHack Challenge совместно с краудсорсинговой ИИ-организацией AIcrowd. Конкурс длится с начала июня по 15 октября 2021 года, а победители будут объявлены на NeurIPS в декабре.
Интересно, что сама игра NetHack существует с 1980-х годов. Она визуально проста и полностью бесплатна, но на порядок сложнее StarCraft II: из-за очень запутанного взаимодействия игроков со своей средой и связанными объектами, пользователям приходится мыслить нестандартно или обращаться к NetHack Wiki. А главная трудность NetHack в том, что после смерти персонажа игровая сессия этого игрока заканчивается. Поэтому в рамках этой RL-среды исследователи надеются найти новые способы управления агентами, чтобы в будущем ИИ мог мыслить творчески в сложных ситуациях, помогая людям. Поскольку NetHack работает на терминале, игроки могут быстро моделировать игровой процесс, обучая миллиарды агентов в день лишь на 2-х графических процессорах. Так NetHack Challenge тестирует новейшие ИИ-методы в сложной среде без огромных мощностей суперкомпьютера. https://techxplore.com/news/2021-06-facebook-nethack-neurips.html