Теперь можно заставить ИИ смотреть и анализировать видео с задержкой меньше 30 мс.
Комбинация YOLO + Gemini / OpenAI:
↳ спортивный коучинг
↳ обнаружение пожаров с дронов
↳ ассистенты для лайв-митингов
Почему это важно:
Большинство ИИ-приложений сегодня это текст или статичные картинки. Vision Agents - это понимание живого видео в реальном времени.
Подключение к звонку » около 500 мс. Задержка аудио и видео » меньше 30 мс.
Идеально для ИИ, которому важно видеть, что происходит прямо сейчас.
Реальный тайм-видео ИИ можно собрать буквально в ~5 строк кода:
agent = Agent(
edge=getstream.Edge(),
instructions="Coach golf swing",
llm=openai.Realtime(fps=10),
processors=[ultralytics.YOLOPoseProcessor()]
)
Пример установки — одна команда и готово:
uv add vision-agents
↳ Вот репозиторий
↳ А вот документация