Короче, проблема mediapipe в том, что эта штука детектит части нашего тела чисто по одной камере. И даже в глубину умеет. Но очень посредственно – как человек с одним глазом – как бы по общей геометрии примерно понятно, что ближе, что дальше, но полноценное определение расстояний работает только с двумя глазами
Если прям душнить, то у нас есть биологический механизм, который позволяет по-честному определять расстояния даже одним глазом, просто он изначально не для этого нужен и работает достаточно медленно и не точно. Респект тому, кто догадается какой
Так вот, на видео слева внизу как раз это заметно – при повороте кистей или сжатии кулака рука почему-то куда-то уезжает. Так никакую систему проверки корректности движений для качалок не построишь (когда-то в ковидные годы я с этой идеей даже подавался в стартап-акселератор)
Нужна вторая камера
А как только появляется вторая камера, сразу нужно учится их калибровать – определять положение относительно друг друга. А потом еще химичить отображение самой сцены – просто проекциями не решается, т.к. сцена – не линия, и на каждой камере имеет свою геометрию. И понеслаааась
Короче, в открытом доступе ничего нормально работающего я не нашел, тем более в браузере. Но теперь есть opus-5.5
Спустя пару промптов из серии
"...триангуляция...блаблабла...автоматическая рекалибровка...блаблабла...межзрачковое расстояние как референс...блаблабла...протести на открытых датасетах...блаблабла...не дергай меня, сделай сам..."
... я получаю офигенный результат (справа внизу на видео): стабильная сцена, честное расстояние в сантиметрах и устойчивость к сдвигу камер. И все это просто по вебке макбука + iphone (в continuity режиме). Минут 5 наверное сидел довольный, махал руками перед экраном
Ноль идей где и как это можно использовать, но зато закрыл свой старый гештальт по настоящему трехмерному pose estimation 🤷♂️