Большинство LLM видят видео как транскрипцию, а не как сцену

Даже Claude не берёт видео напрямую. claude-real-video делает это локально: дергает URL или файл, вытаскивает значимые кадры на каждом изменении сцены, выбрасывает дубли и делает транскрипцию. Автор показывает пример: 58-секундный ролик при фиксированном 1 fps даёт 58 кадров, а инструмент оставляет 26, которые реально отличаются, и упаковывает их в 3 контактных листа. Меньше токенов, ничего не потеряно.

Цепляет, что вся обработка — на машине пользователя: в LLM уходит только то, что вы сами выбрали. Для разбора видео, подготовки датасетов или просто чтобы LLM «посмотрел» ролик, а не прочитал субтитры — удобная штука.

Репо на GitHub.