Домашних роботов научили работать рядом с людьми с помощью 48 камер

Исследователи представили OmniRobotHome — домашнюю платформу для изучения взаимодействия людей и роботов в реальном времени. Система использует 48 синхронизированных RGB-камер, две роботизированные руки Franka Research 3 и общий 3D-кадр сцены, в котором видны люди, объекты и сами роботы.
В итоге роботы получают общую карту происходящего. Это важно, потому что в доме человек постоянно кого-то или что-то заслоняет. Одна камера видит спину, вторая руку, третья край предмета, а вместе они дают системе шанс понять сцену без маркеров и специальных костюмов.
Исследователи проверяли систему на сценарии с кухней. Две роботизированные руки сортировали продукты: фрукты отправляли к раковине, упакованные товары на полку, а человек свободно перемещался рядом. Без учета положения человека роботы работали быстрее, но чаще создавали опасные сближения. Динамическая политика безопасности, которая учитывала 3D-положение человека, снизила число столкновений в 2,6 раза по сравнению с простой статической зоной и при этом улучшила время цикла.
Отдельно проверяли «память поведения». Система накапливала траектории человека и начинала предсказывать, с какой стороны он обычно подходит к рабочей зоне. Это дополнительно снижало число опасных ситуаций без потери скорости.

(По материалам сайта "Компьютерра")