Google DeepMind сделали из видеомодели Veo симулятор для роботов.

Модели мира вышли на передний край, как и говорили Лекун и Хассабис.

Google DeepMind выпустила свежую работу Evaluating Gemini Robotics Policies in a Veo World Simulator, в которой описывается впервые использование видеомодели Veo для оценки политик роботов.

Veo генерирует реалистичные симуляции от обычных задач до новых объектов, фонов, отвлекающих элементов и red teaming для безопасности.

Всё с мультивидами, кондиционированием на действия робота и редактированием сцен без лишних тестов на реальном железе.

Валидация на 1600+ реальных испытаниях с бимануальным ALOHA 2 показала сильную корреляцию: симуляция точно предсказывает успех и ранжирует политики.

Это идеально вписывается в стратегию DeepMind по world models, о которой говорил Дэмис Хассабис: симуляции — ключ к пониманию Вселенной и обучению агентов.

А еще летом вышел Genie 3 — интерактивные 3D-миры в реальном времени из текста, строящийся на Veo для физики. Genie 3 уже тестируют с агентом SIMA: ИИ учится в генерируемых мирах, решая проблему дорогих данных для роботов и автопилотов.

Veo-симулятор — прикладной инструмент сегодня, Genie 3 — фундамент для завтрашних бесконечных тренировок. Кто контролирует лучшие симуляторы — тот лидирует в embodied AI.