CoTracker — модель для отслеживания любой точки (пикселя) на видео.

Эта архитектура основана на нескольких идеях из литературы по оптическим потокам и отслеживанию и объединяет их в новую, гибкую и мощную конструкцию. Он основан на сети преобразователей, которая моделирует корреляцию различных моментов времени с помощью специализированных уровней внимания.

Бумага: https://arxiv.org/abs/2307.07635
Код: https://github.com/facebookresearch/co-tracker
Демо: https://huggingface.co/spaces/facebook/cotracker

Сайт: https://co-tracker.github.io/