Вместе с коллегами из TRASSIR успешно завершили первый этап исследования возможностей мультимодальных моделей в задачах видеоаналитики📷

Основная цель проекта — создание системы, способной эффективно выявлять случаи краж товаров в торговых точках с минимизацией ошибок. Мы использовали мультимодальные модели, работающие в zero-shot-режиме, чтобы снизить количество ложных тревог и повысить точность выявления подозрительных ситуаций без специального дообучения модели.

Улучшения:
⚫️Механизмы рассуждения, позволяющие лучше распознавать сложные действия (например, "взятие+возврат" товара)
⚫️Детализация эпизодов интереса для более точного анализа коротких событий
⚫️Поддержка потокового видео с учётом длинного временного контекста

➡️Будущие проекты предусматривают использование мультимодальных моделей для оценки соблюдения стандартов общепита: анализ аудио на предмет соблюдения речевых скриптов персоналом, контроль за соблюдением санитарных норм, детекцию нарушений, связанных с условиями допродаж и чистотой помещений.