#кейс

Направление Embedded Computer Vision является одним из ключевых для ЦПР РТСофт. Сегодня расскажем об одном из наших недавних кейсов - реализации приложения для AI тренировок на смартфоне.

Перед нами стояла задача разработки приложения, которое бы позволило геймифицировать процесс домашних тренировок, сделав их не просто доступными и эффективными для широкого круга пользователей, но и увлекательными. Приложение должно обрабатывать видеоряд с тренировки и выдавать отчет с ошибками, допущенными в ходе выполнения, а также прогрессом по конкретному упражнению. Ключевой аспект - внедрение нейросетевой модели для смартфона.

Как все устроено?

1) Пользователь запускает приложение и выбирает понравившуюся тренировку. Просматривает видео- образец упражнения и повторяет за тренером. В конце получает подробную аналитику по тому, что было выполнено корректно, а что - нет

2) Приложение работает с камерой пользовательского девайса: смартфона, планшета или же Smart TV. Пользователь видит скелетную модель и ключевые точки

3) Все повторения упражнения записываются и отправляются на сервер, где они обрабатываются, подсчитывается отклонение точек скелетной модели от образца и формируется результат в баллах

Особенности:
Для детекции точек тела используется модель MediaPipe BlazePose. Производится нахождение 33 точек. Есть реализация модели для Python, Android, Web.

В дальнейшие планы входит реализация полноценной интеграции приложения с фитнес-браслетами, а также развитие маркетплейса программ тренировок совместно с профессиональными фитнес-тренерами.