Еще пару интересных моментов из моделей мира.

Меня всегда интересовал момент, что является каркасом мира. В играх это ее геометрия: граунд, ландшафт, здания, биом, любая статическая геометрия, которая описывает мир. У моделей нет привычного каркаса, зато есть память.

Модели имеют память и могут возвращаться к ней, когда вы поворачиваетесь в тот ракурс обзора, в который уже смотрели. Так сохраняется контекст, т.е. модель не генерирует пространство заново, она просто достает его из памяти. Если ракурса нет в памяти, она предсказывает следующий кадр в зависимости от ваших инструкций, и там может быть все что угодно, сеть сама решает, что подойдет лучше. Абсолютно так же, как это делают LLM, предсказывая следующий токен.

Исходя из этого, моделям можно давать представление о пространстве. Чем подробнее промпт, который вы написали, тем подробнее локация будет отрисована и тем ближе она будет к вашему запросу. В перспективе это может быть карта или подробная инструкция, описывающая карту. Уже сейчас вы можете вносить изменения в мир в реальном времени тем же промптом. Т.е. по карте могут быть расставлены определенные точки интереса, которые запускают события, прямо как сейчас в играх, но события в этом смысле могут полностью изменить мир или внести в него изменения, заложенные ворлд-дизайнером. Как работает память в 3 поколении Genie, можно посмотреть в видео, мир меняется почти полностью за 30 минут игрового процесса.

На данном этапе модели не имеют в своей основе ничего, напоминающего геометрическое описание мира, как в привычных движках, но они определенно понимают, как должны вести себя предметы в уже созданном мире. Если это стена, то персонаж не пройдет сквозь нее. Если это лестница, то он, скорее всего, поднимется по ней. Если предмет падает в воду, то он создаст брызги и рябь на воде. Но это не незыблемый каркас мира, это скорее выученное представление о том, как ведут себя физические явления в мире в конкретный момент. Это не константа.

Конечная цель разработчиков и самой идеи моделей мира - создать полностью неотличимое от реального мира управляемое пространство. Потому что именно в таком пространстве можно достаточно точно обучить агентов и быть уверенным, что они не совершат ошибки в реальном мире. Как только мы получим симуляцию живого существа, способного корректно взаимодействовать в виртуальном мире, тогда же мы получим готового к взаимодействию физически воплощенного робота, способного выполнять все, что в его физических силах в нашем мире.

@CGIT_Vines