Запускаем модели локально, чтобы избавиться от боязни чистого холста

Я увлекаюсь видеомнтажом и самая фрустрирующая вещь при монтаже - это разгребать сотни гигабайт видео, чтобы понять, что в них снято и как это можно выстроить в цельный таймлайн. Нужно отсмотреть каждое видео из сотни (или даже нескольких сотен), чтобы затем накидать на таймлайн в нужной последовательности. Боязнь чистого холста присутствует и тут. Уже после того, как на таймлайн накиданы видео в черновом порядке, процесс отладки идет легче, потому что ты редактируешь что-то, а не делаешь с нуля. Бывает и такое, что уже на финальных этапах монтажа, когда смена кадров подстроена под музыку, замечаешь незадействованное видео, которое неплохо вписалось бы в визуальное повествование, да только вот не хочется менять выверенные тайминги.

Недавно вернулся со Стамбула и пришла в голову идея - а почему бы не попробовать локально запустить ИИ, чтобы распознать видео и получить описание сцены, активностей и людей в видео, чтобы затем уже с помощью того же ИИ получить драфт сценария? Бесплатно вряд ли бы какой сервис дал мне распознать сотню гигабайт видео, а потому - только локальный запуск в моем распоряжении.

Быстрый ресерч привел меня на сайт huggingface.co, где есть инструкции по запуску моделей через llama-server. Клод накидал мне скрипт на пайтоне, который берет отдельные кадры с помощью программы ffmpeg и передает их в модель с промптом на анализ сцен. Сначала попробовал парсинг с Qwen3.6 27B - почти вся память на моем M3 Max с 36гб озу съелась и еще 10гб своп-файла сверху. Позже друзья посоветовали LM Studio, где уже сделаны более удобный поиск нужной модели и запуск сервера. Они же и подсказали, что на чипах M лучше запускать модели MLX, чтобы работали быстрее и ели меньше памяти. Для своей задачи я запустил модель Gemma4 26B, и скрипт отработал за час и съел всего 18гб озу. После завершения монтажа попробую вытащить транскрипцию, чтобы затем сделать субтитры на разные языки.

Если вы, как и я, уже не представляете жизнь без Claude Code и Codex, то попробуйте локальный запуск моделей просто чтобы понять, как оно устроено на серверах. в LM Stodio можно подкручивать разные параметры, что дает поле для экспериментов. Не забывайте и про охлаждение ноутбука.