Google DeepMind анонсировала Magenta RealTime 2. Модель работает как живой инструмент, прямо на устройстве, с задержкой около 200 миллисекунд (для сравнения: это быстрее, чем вы моргаете).
В чем суть:
Модель не нарезает музыку кусками, а выдаёт непрерывный поток (как синтезатор, который подстраивается под вас на лету). Управлять можно сразу тремя способами: текстом (пишете «добавь джазовое пианино»), аудиопримером (кидаете референс) и MIDI (играете партию, а модель подхватывает). Менять инструменты, жанр и настроение можно прямо во время генерации, не останавливая процесс.
Обучили модель на 71 тысяче часов стоковой инструментальной музыки. И самое главное 🤩 выложили в открытый доступ.
На момент выхода это единственная открытая модель, которая умеет генерировать музыку непрерывно и с такой низкой задержкой (обычно open source такими вещами не балует).
Модель по ссылке. Отправляем всем, кто занимается музыкой.
Вайб Working — канал, где простым языком рассказываем как оптимизировать свои рабочие процессы с помощью ai.