От слов и картинок к делу. Как ИИ учится создавать «миры»

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL, ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

Технологические компании, включая гигантов Google и Meta, а также xAI Илона Маска, разрабатывают ИИ нового типа, способный генерировать полноценные трёхмерные миры с работающей физикой. Эксперты считают такие системы следующим большим шагом после ChatGPT и ключом к созданию по-настоящему умных машин.

О чем речь

World models или «модели мира» — это ИИ-системы, которые умеют создавать полноценные виртуальные пространства. В них работает физика: предметы падают, сталкиваются, перекрывают друг друга, свет отражается от поверхностей, объекты сохраняют форму и положение во времени, а персонажи и окружающая среда реагируют на действия.

Проще всего представить это как современный игровой мир, но с принципиальной разницей. Его не собирали вручную, а создала машина — по текстовому запросу, изображению или видео. Исследователи считают такие модели следующим шагом после языковых и визуальных ИИ, поскольку они не просто описывают, а понимают, как устроена реальность.

Есть два основных подхода:

👾 Мир создается «на лету». ИИ генерирует происходящее кадр за кадром, пересчитывает, что должно случиться дальше, исходя из законов физики. Вы поворачиваете камеру, двигаетесь, берете предмет, а модель тут же перестраивает окружающее пространство. Проблема — в огромных вычислительных затратах. Даже самые продвинутые модели сегодня поддерживают «жизнеспособность» такого мира всего несколько минут.

👾Создание готовых 3D-миров, которые можно скачать и использовать в других программах. Менее эффектно, зато практичнее.

Примеры

✨ Genie 3 от Google DeepMind создает тот самый мир «на лету». Модель генерирует происходящее со скоростью 24 кадра в секунду (в разрешении 720p) и удерживает логическую целостность мира несколько минут. Для сравнения, предыдущая версия, Genie 2, «держала» мир лишь 10-20 секунд. Но Genie 3 пока исследовательский прототип, доступ к нему имеют лишь избранные тестировщики, полноценного продукта нет, а вычислительная стоимость остается крайне высокой.

✨ Модель Marble от стартапа World Labs, основанного «крестной матерью ИИ»  Фэй-Фэй Ли, создает устойчивые и редактируемые 3D-миры (второй подход) из текстовых запросов, фото, видео и пр. Сгенерированные пространства можно скачать и экспортировать. Модель доступна бесплатно и с более широкими возможностями по подписке. Она рассматривается, прежде всего, как источник фоновых сцен и окружений в игровой индустрии.

✨ Meta работает над Habitat 3 — виртуальной средой, предназначенной прежде всего для обучения так называемого embodied AI (воплощенного ИИ), то есть роботов и прочих будущих домашних ассистентов. В Habitat 3 ИИ учится помогать человеку в бытовых задачах: прибираться, готовить еду на кухне, ориентироваться в пространстве и взаимодействовать с объектами и людьми без риска для их безопасности.

Зачем это нужно?

В основном компании, работающие с ИИ, включая xAI Илона Маска, рассматривают мировые модели как основу для тренировки роботов и автономного транспорта. Кроме того, один из ведущих исследователей ИИ Ян Лекун готовится покинуть Meta, чтобы создать и и запустить собственный стартап в этой области.

Самое очевидное и близкое применение — видеоигры. Рынок с ожидаемым годовым оборотом почти $190 млрд уже начинает меняться под влиянием ИИ. Крупные издатели и студии используют генеративные модели для создания персонажей, ландшафтов и диалогов, а мировые модели обещают живые, изменяемые игровые пространства.

Но развлечениями и роботами дело не ограничивается. Мировые модели можно применять в строительстве, чтобы заранее «пройтись» по зданию, проверить освещение, движение людей и поведение конструкции под нагрузкой. А в медицине они, например, могут помочь определить реакцию в организме на прием лекарства.