Озвучить изображение

Сегодня мы расскажем о, наверное, самом известном экспонате VAlab, «Криптографе». Он успел объездить полмира, а сейчас стоит в нашей мастерской.

«Криптограф» представляет собой код и акустическую систему в деревянном корпусе. Камера захватывает изображение и предмет, который помещается на корпусе. Система интерпретирует визуальные данные в звук по заданному алгоритму, тем самым превращает изображение в музыку.

Как мы это сделали? За основу мы взяли статью из «Леонардо», в которой рассказывалось об идее художницы Кэтрин Любар о применении понятия консонанса/диссонанса к цветам. Так цветовые сочетания могут быть интерпретированы как интервалы — 12 полутонов соотносятся с 12 секторами цветового круга Йоханесса Иттена. Например, между красным и желтым находятся 4 полутона и большая терция.

Последовательность захвата изображения основана на экспериментах профессора и изобретателя Николая Блинова: он выстроил иерархию зрительного анализа от горизонтали до текстуры (если вы хотите копнуть глубже, то советуем его работу «Глаз и изображение»).

Порядок влияет на построение музыкальной структуры: главная партия создается по зрительному ранжиру, второстепенная — через последовательный анализ изображения по квадратам сверху вниз, слева направо.

Так «Криптограф» превращает любое изображение, которое вы ему предложите, в фортепианную импровизацию.