«Сбер» выложил модель для обучения роботов

▶️ «Сбер» анонсировал семейство генеративных моделей Kandinsky WM 1.0, предназначенных для синтеза видео с реалистичной физикой. Эти ролики используются для обучения систем Physical AI - беспилотного транспорта, промышленных роботов и другого оборудования, взаимодействующего с материальным миром.

Раньше обучать такие системы было сложно и дорого:

⏺️ сбор реальных видео с камер стоит огромных денег.
⏺️ аварии, экстремальная погода или отказы оборудования вообще нельзя снять без риска.
⏺️ генерированные другими нейросетями ролики страдали искажениями геометрии, «пластилиновыми» объектами и нарушением перспективы.

Разработчики под руководством Дениса Димитрова дообучили Kandinsky 5.0 Video Lite на нескольких миллионах реальных записей с камер роботов, дронов и промышленных объектов. Это резко снизило число типичных артефактов.

Что получилось.

🔽 В итоге Kandinsky WM генерируют физически корректные пятисекундные клипы, отображающие манипуляции с предметами, дорожные сцены и производственные процессы - материал пригоден для тренировки систем компьютерного зрения и симуляторов.

™️ МашТех в Telegram | в MAX