Я не удивлён – Майнкрафт оказался отличной средой для тренировки автономных агентов. А еще там можно построить нейросеть из редстоуна.

Авторы, наверное, сами на нем выросли, и вот теперь они представили агента OmniJARVIS, который способен выполнять комплексные таски, такие как крафт каменной (не деревянной) кирки. Т.е. он понимает, что сначала ему нужно сделать верстак, потом деревянную кирку, и только потом, добыв булыжник, каменную.

Для этого используют, можно сказать, новый вид мультимодальных LLM - VLA (Vision Language Action).

У нас здесь есть как бы два мозга. Мозг LLM и спинной мозг – поведенческий детокенайзер, который интерпретирует аутпут LLM в действие. Действия предварительно тренируются, используя датасет из кучи видосов по Майнкрафту. LLM пишет, что делать, детокенайзер находит у себя в базе выученных действий нужное и шаг за шагом идет к своей цели. И все это вроде как работает очень дружно и слаженно.

В видосе агент сам поставил себе план: добыть дерево, создать верстак и скрафтить необходимые инструменты. Все эти действия он научился делать заранее, здесь они выполняются командой экшн. В записи показано, как это выглядит.

Еще один пример смотрите в первом комменте.

Что это значит?
Мы уже научились обучать роботов делать какие-то простые таски: Вот свежий пост про живую сталь и GR00T среду для виртуальной тренировки. У нас уже много примеров того, как боты складывают вещи, моют, убирают и прочее, тут и тут. В этом посте показан не первый, конечно, но очень качественный пример системы, которая объединяет все эти отдельные выученные действия в один общий план, когда бот сам анализирует обстановку, планирует и решает задачи.

Кажется, это уверенные шаги в сторону автономных агентов и происходят они в Майнкрафте (т.к., там проще тестировать и обучать). Теперь ждем более сложного планирования и для физических роботов.

Project page
Пейпер
Код!
И даже Датасет обещают скоро

@ai_newz