Инженеры Северо-Западного университета в США разработали систему захвата движений MobilePoser, которая использует датчики, встроенные в потребительские гаджеты — смартфоны, «умные» часы и беспроводные наушники. Система обрабатывает данные с помощью ИИ, чтобы определять позу человека и его движения в режиме реального времени.

По словам разработчиков, акселерометры, гироскопы и другие датчики встроены в мобильные устройства, однако их точность является слишком низкой для точного захвата движений. Чтобы решить эту проблему, инженеры разработали многоступенчатый алгоритм ИИ, который обучили с использованием общедоступного набора данных инерциальных измерительных устройств, полученных из высококачественных источников контроля движения. MobilePoser получает от датчиков в гаджетах информацию об ускорении и ориентации тела. Алгоритм ИИ на основе собранных данных оценивает положение и вращение суставов, скорость и направление ходьбы, а также контакт между ногами пользователя и землей.

Оптимизатор, обученный на физике движения, корректирует результат с учетом возможностей человеческого тела. Он учитывает, например, тот факт, что суставы не сгибаются назад, а голова не может вращаться на 360 градусов. В экспериментах исследователи показали, что готовая система отслеживает движения с погрешностью 8-10 см. По словам Карана Ахуджа, руководителя исследования, точность действий ИИ алгоритма будет выше, когда человек носит больше одного устройства. Например, «умные» часы на запястье и смартфон в кармане. Однако особенность системы в том, что она адаптивна. Даже если в какой-то день у пользователя не будет часов, а будет только телефон, она адаптируется, чтобы определить положение всего тела.

Традиционно для захвата движений, например, во время съемки фантастических фильмов, актеры надевают облегающие костюмы, покрытые датчиками, и ходят по специальным помещениям. Другие решения, например, Microsoft Kinect, используют стационарные камеры, которые отслеживают движения в несколько объективов. Разработчики предполагают, что MobilePoser расширит возможности отслеживания движений для компьютерных игр, виртуальной реальности и приложений для здоровья и фитнеса. Приложение не только считает шаги, но и показывает пользователю осанку во время упражнений. Планируется, что приложение будет доступно для iPhone, AirPods и Apple Watch в ближайшее время.

📚Тематические ссылки:
https://dl.acm.org/doi/pdf/10.1145/3654777.3676461
https://hightech.fm/2024/10/16/app-poser