Магистранты AI Talent Hub ИТМО создали для компании IT Imperial прототип сервиса, который превращает видео с действиями человека в черновик разметки для обучения роботов. Ручная обработка короткого ролика занимает 15–30 минут — прототип примерно за 1 минуту подготовил черновик разметки 30-секундного ролика, а человеку потребовалось ещё около 3 минут на проверку и исправления.
Для обучения робота видео превращают в последовательность шагов: отмечают границы действий, объект и ключевой кадр. Praxis автоматически готовит такую разметку, а специалист проверяет её на временной шкале, исправляет отдельные поля и выгружает данные. В отдельном эксперименте команда сравнила разметку с нуля и проверку автоматического черновика в одном редакторе. В одинаковых условиях работа с черновиком оказалась в 2,2 раза быстрее. Прогноз модели и правки человека хранятся отдельно, чтобы пересчитывать качество и использовать исправления для дальнейшего обучения.
Команда проверила 30 конфигураций. В итоговой схеме одна модель находит смену действий, а другая определяет действие и объект. Такое разделение позволяет отдельно настраивать временные границы и распознавание содержания. Окончательную разметку подтверждает специалист.
Определение временных границ проверили на 85 роликах: средняя ошибка составила 0,27 секунды, а 90% границ уложились в допустимое отклонение до двух секунд. В сквозном тесте на трёх собственных роликах временные границы совпали с эталоном для 72% шагов, а система верно назвала 71% совпавших действий. Отдельные компоненты показали работоспособность, но итоговое качество осталось ниже цели кейса: распознавание содержания и перенос на новые данные требуют доработки.
Прототипы создавались в рамках AI Product Hack 2026 — стартового семидневного хакатона-буткемпа магистратуры ИТМО AI Talent Hub. Над задачей работали одновременно 5 команд. Одновременно магистранты выбирали проектную и образовательную траекторию на семестр. Победителем стал проект Praxis, прототип создали Геннадий Фомин, Павел Лекомцев и Александр Деревягин.
В течение семестра команда продолжит работу над Praxis вместе с IT Imperial: проверит прототип на роликах компании, сравнит его с текущей разметкой и измерит качество и время коррекции. Если результаты прототипа подтвердится на данных IT Imperial, сервис сможет сократить ручную часть работы как минимум на 80%.
«Мы в своей работе не всегда успеваем улучшить процессы внутри из-за фокуса на других задачах, но магистранты ИТМО показали нам новый взгляд на привычные для нас вещи. Уверен, что используем их решения в том или ином виде», — отметил Александр Слепцов, руководитель проектного офиса IT Imperial.
💬 «Мир Робототехники» в MAX
Сайт | VK | Telegram
#МирРобототехники #ИТМО #ITImperial #ИИ #РазметкаВидео #ОбучениеРоботов