Еще одна интересная работа от ByteDance - Lucida.

Очевидным является тот факт, что роботам нужно будет понимать с чем они имеют дело когда они выйдет в открытый реальный мир.

Сейчас когда их обучают, для них делают специальные виртуальные среды максимально приближенные к реальности. Когда они попадут в реальный мир им нужно будет самим определять что перед ними, цельный ли это объект, или составной, тяжелый или легкий. Одним из предлагаемых вариантов являются подобные алгоритмы по достраиванию сцены и переводу данных с датчиков в приближенные к реальным предметы окружения.