Мир open source world models пополнился по-настоящему сильным новым игроком 😆

У интерактивных world models уже давно была одна и та же проблема: первые несколько секунд всё выглядит отлично, а затем мир незаметно начинает «рассыпаться». Текстуры размазываются, геометрия искажается, постепенно накапливается дрейф.

Новая LingBot-World 2.0 от Robbyant — первая модель, которую я видел, действительно преодолевшая это ограничение. Это каузальная world model, которую можно исследовать в реальном времени в разрешении 720p при 60 FPS. Она прошла стресс-тест в виде одной непрерывной 60-минутной сессии, охватывающей 20 сцен, без каких-либо заметных признаков деградации.

Сохранять согласованность мира так долго — вот где кроется настоящая сложность, и именно этого здесь удалось добиться.
Больше всего меня впечатлил агентный цикл, работающий поверх модели. Во время игры VLM предлагает новые события, а агент-директор постоянно подбрасывает новые активности, благодаря чему мир продолжает разворачиваться, а не остаётся статичным. Перемещение, боевая система, погода по запросу и даже мультиплеер в одном общем мире.

И Robbyant — компания Ant Group, занимающаяся embodied AI, — открыла исходный код проекта, а также опубликовала веса модели. Уже доступна версия на 14B параметров, а в статье также описана версия на 1.3B параметров, рассчитанная на запуск на одной потребительской GPU; для неё также доступны веса и исходный код. Кроме того, есть публичная демо-версия, размещённая их партнёром по запуску — Reactor, — которую можно просто открыть и попробовать.

👉 @PythonPortal