Google понемногу двигаются к тому, чтобы обучать роботов с помощью ИИ-моделей мира

Они выпустили статью, в которой сделали первый большой шаг к соединению Veo и робототехники. Это пока не про полноценное обучение роботов в ИИ-симуляции (не обольщаемся), но результаты все равно интересные и важные.

Кратко: у исследователей получилось научить Veo-2 предсказывать, что конкретно будет видеть робот, совершая те или иные действия.

Они взяли базовую Veo-2 и дотюнили ее по первому кадру + действиям робота генерировать будущие согласованные кадры с его 4 камер. Это называется action-conditioned rollout и, по сути, позволяет недорого и безопасно оценивать политику робота с помощью одной только world модели.

Полученный дотюн, кстати, красиво назвали Veo (Robotics).

Чем это круче, чем обычная симуляция?

Строгие физические симуляторы работают хорошо, если ситуация простая и предсказумая. ИИ-симуляцию можно масштабировать на нетривиальные миры. Более того, каждый объект в физ.симуляторе требует четких ассетов и ручной настройки + больших вычислений. Сильно далеко на таком не уедешь. А тут – добавляй новые предметы и кейсы сколько хочешь, достаточно промт написать или отредактировать начальный кадр с помощью Nano Banana.

Конечно, есть и минусы. В основном они касаются качества моделирования строгой, в особенности мелкой, физики. Но тут еще все впереди.

По сути: Google научились довольно сносно (см последний график) эвалить политику робота с помощью Veo. Добавь обновление политики, и уже получишь обучение с подкреплением. Пока что этого не делают сознательно, опять же из-за недостаточной точности World model. Но еще раз: шаг большой.

https://www.alphaxiv.org/abs/2512.10675