Как агент Lumine учит ИИ играть с открытым миром

Недавно в мире искусственного интеллекта появилась настоящая звезда — Lumine, агент, который, кажется, с каждым днем становится всё более похож на настоящего игрока. Этот ИИ теперь способен проходить сложные миссии в открытых мирах вроде Genshin Impact и делать это не хуже, чем человек. Звучит круто, не так ли? Но давайте разберемся, что стоит за этим достижением 😡

Во-первых, Lumine — это не просто ИИ для простых задач. Его разработали с фокусом на многозадачность в 3D-играх с открытым миром. Борьба с врагами, решение головоломок, взаимодействие с NPC, управление на клавиатуре и мыши — всё это в реальном времени. Но задача была не просто научить ИИ двигаться по карте, а сделать его адаптивным, чтобы он мог правильно ориентироваться в 3D пространстве, управлять интерфейсом и помнить контекст происходящего. Это совсем не так просто, как может показаться на первый взгляд.

Почему это сложно?
Закрытые среды, например, простые 2D-игры или даже тренировки на ограниченных данных, уже продвинулись далеко. Но вот открытые миры, такие как Genshin Impact, ставят свои задачи. Агент должен учитывать не только огромные пространства, но и взаимодействовать с множеством объектов, следить за погодными условиями, физикой, а ещё вовремя выбирать правильные действия в диалогах и сражениях. Все эти вещи нужно делать под жесткими ограничениями по времени, иначе просто не успеешь на очередной квест.

Как он обучается?
В основе Lumine лежит довольно интересная модель: агент воспринимает мир как человек, получая кадры с экрана игры (каждые 200 миллисекунд) и переводи эти кадры в текстовые команды для управления — как будто он «входит» в игру через клавиатуру и мышь. Важный момент: в этой модели используется так называемая гибридная стратегия рассуждений. То есть, агент решает, когда ему нужно остановиться и подумать, а когда можно сразу выполнить команду, не теряя времени на размышления.

Обучение проходит в три этапа: сначала агент учится просто управлять и следить за действиями в игре, затем он учится следовать инструкциям, а на третьем этапе — креативно решать задачи и использовать логическое мышление. Это действительно многоэтапный процесс, где важно обучать ИИ думать, но не в ущерб быстродействию.

На практике Lumine довольно успешен: он проходит сложные миссии за 56 минут (что примерно соответствует живому игроку), и главное — он не ломается, если его перенести в другую игру. То есть, после того как его обучили в Genshin Impact, он может адаптироваться и к другим игровым мирам, например, Honkai: Star Rail. Это действительно впечатляющая гибкость.

Что не идеально? 😺
Как и любой другой ИИ, Lumine не без недостатков. Он не слишком любит лечиться в сложных ситуациях, у него иногда возникают проблемы с навигацией и он плохо справляется с быстрыми перемещениями по карте. Всё это, конечно, поправимо, и разработчики уже работают над улучшениями.

В будущем такие агенты могут стать настоящими партнерами в играх, выполняя сложные задачи без дополнительного обучения, или даже помогать людям с их собственными игровыми миссиями.

Data Science