MusicLM: новая веха в музыкальной истории 🎼
Разработчики из Google Research выпустили доклад о модели MusicLM, которая генерирует музыку на основе текстовых подсказок, а также открыли доступ к датасету MusicCaps, в который входит 5.5k пар текст + музыка.

Такое мы уже где-то видели!
В отличие от Riffusion, модели для генерации музыки на основе Stable Diffusion, о которой мы писали ранее, MusicLM генерирует музыку высокого качества, а также может основываться не только на тексте, который описывает предназначение трека, настроение и инструменты, но и мелодию, позволяя также регламентировать каждый из этих аспектов указанием тайминга. Например, вы можете задать последовательную смену настроения композиции: начать с меланхоличной мелодии, перейти к бодро-танцевальной и закончить на симфоническом буйстве в стиле саундтреков Marvel.
По ссылке на исследование вы также можете ознакомиться с интересными примерами генерации музыки на основе описаний картин, которые словно воссоздают полотна в аудио контексте, давая вам возможность представить, как бы «звучала» та или иная работа художника.

Где попробовать запустить?
Несмотря на релиз доклада и датасета, сама модель MusicLM выложена в открытый доступ еще не была, и, по слухам, в ближайшее время не будет. Вероятно, для релиза модели нужно подготовить данные о том, на чем ее обучали, что может привести к всплеску исков со стороны правообладателей о нарушении авторского права.

Что вы думаете о развитии AI-технологий? Оставляйте ❤️, если вам нравится заметный прорыв в этом направлении, и 😱, если стремительное развитие нейросетей вас пугает или тревожит.