Меня тут уже несколько раз спросили как мы синхронизировали видео и аудио на концерте, поэтому актуализирую свою простыню текста от 24 года.

Что поменялось (всё):
- XR18 → X32R
- Старый ноут Asus → Macbook
- Ableton → Cubase
- Resolume → QLab
- OSC → MIDI

Пропущу предысторию и сразу к делу. Дано:
- Macbook
- Cubase с аудиоплейбэком

Задача прежняя — при нажатии на плей в кубейсе на экране должно запуститься нужное видео.

Ключевой вопрос, который мне нужно было решить, это стоит ли мне использовать два ноута как раньше? То есть потянет ли мак нагрузку, которая была раньше распределена на два ноута? Я решил рискнуть и попробовать использовать один, а если будут проблемы, то с горящей жопой переносить видео на второй.

Далее нужно было выбрать софт для видео. На маке у меня нет лицензии Resolume, поэтому я решил погуглить бесплатные решения, и нашёл QLab — софт для театралов, в котором объединяются видео, свет и звук. Главный его плюс, что у него есть бесплатная урезанная версия, которая умеет базово воспроизводить видео и работать с внешними триггерами.

Вопрос выбора Midi или OSC решился теперь в другую сторону: QLab в бесплатной версии не поддерживает входящий OSC, но поддерживает Midi. Основной недостаток Midi в том, что его нельзя отправлять по сети (без костылей), как мы делали с OSC. Но так как у меня Cubase и QLab на одном ноуте, то и сеть мне не нужна. Получилось даже удобнее — я просто назначил в кубейсе выход с Midi дорожки на QLab и всё. Никаких приколов с самописным прокси сервером и т.д.

Теперь весь процесс выглядит так:
1. В QLab на нижнем слое у меня запущен основной задник, не привязанный к песням.
2. Я запускаю аудиоплейбэк из Cubase, в начале каждой песни на специальной дорожке висит Midi нота с номером песни, которая отправляется напрямую в QLab.
3. В QLab в свою очередь есть соответствующий видос к песне, у которого триггер настроен на эту конкретную ноту. Как только нота прилетает, видос запускается поверх задника.
4. Когда песня заканчивается, видео на верхнем слое тоже заканчивается и QLab снова отображает общий задник.

Идейно всё то же самое, но софт другой.

Синхронизация всё ещё не идеальная — у меня отправляется только триггерная Midi нота, которая говорит о старте песни. То есть если песня доигрывает до конца, то проблем нет. Но если мне нужно остановить песню в середине, то синхронизации нет, видео в QLab нужно останавливать отдельно. Ну и я не могу запустить песню с середины, но это в данный момент не критично.

Очевидное решение для полноценной синхронизации — использовать какой-нибудь MIDI Timecode, но для этого нужно будет купить лицензию QLab (которая стоит как Cubase Pro), но я вполне верю, что можно и на чистом Midi придумать какой-нибудь костыль. Например, чтобы при нажатии кнопки стоп в кубейсе тоже отправлялась миди-команда, которая останавливает видео. Но это я поизучаю позже, пока что на ковыряние QLab у меня был всего день.

Кроме того, у меня всё равно в такой схеме образовалась задержка. Пока не разбирался на чьей стороне, но в сумме все видео немного запаздывали. Я решил на этих концертах забить и просто во время саундчека на глаз определил задержку (около 350 мс) и сдвинул в QLab начала всех видосов на это время. Пока что сработало, дальше посмотрим.