VF | Science

👀 Discrete representation inconsistancy

И вот снова работа стоющая внимания от alibaba group. Нынче LLM в аудио широко применяются и хорошо себя показывают. Чтобы использовать LLM для обработки аудио нам нужно составить словарь аудио токенов, окей, это мы знаем. Словарик составляется путем остаточного векторного квантования (RVQ), потом мы обучаем LLM на токенизированом аудио и все хорошо, но можно лучше 😏

Допустим у нас есть несколько очень похожих аудио, которые мы не отличим на слух. Так вот, раз уж они очень похожи, ожидается, что и дискретные токены для этих аудио будут одинаковыми или около того, но токены разные. Даже если мы возьмем одно аудио, выделим из него часть и получим для нее токены, то они будут отличаться от тех, что были в полном аудио (рис. 1)! Все дело в контексте. Аудио сильно зависит от контекста, потому что сверточные ядра в энкодере перекрываются, то есть их размер больше 1х1 и делать его меньше = ухудшить качество реконструкции ))

Вот с текстом все проще, но аудио, друзья мои, это аудио. Одна секунда аудио содержит десятки тысяч семплов и чтобы эффективно сжать его существуют аудио кодеки типа EnCodec. Аудио кодеки активно используют RVQ, а RVQ становится лучше с большим колличеством слоев. Небольшое изменение в начале ведет к большим изменениям последовательности, то есть чем глубже слой RVQ, тем сильнее будут различия в токенах между неотличимыми на слух аудио. За десятки слоев много всего может произойти) Это не взять да сопоставить слово с токеном. Кстати странно, что все это заметили и исправили только сейчас, хотя кто бы говорил... 😱

Распределение, на основе которого будет предсказываться следующий токен, будет усложняться и модели будет сложнее обучиться. Штош, это проблема энкодера и чтобы ее решить авторы добавляют 2 новых лосса (рис. 2). Первый считает MSE между токенами аудио на основе контекста и без него. Второй считает MSE между исходным аудио и аудио с неуловимыми на слух изменениями. А чтобы понять сходство токенов после обучения авторы создали метрику сходства, в которой просто смотрят на равенство соотвествующих токенов аудио с контекстом и без.

Вот и все, данная идея применимма ко всем аудио кодекам и был проведен большой анализ со всеми популярными кодеками. Результаты поражают добавили 2-3 десятых к метрикам синтеза речи и это на самом деле хорошо. Мне очень понравилось, возможно скоро добавят код 👉

#papers #audio

Пока что в аудио ML не было сенсаций, вернёмся к классике моего канала: автоматический перевод аудио в ноты фортепиано. Изредка, но я продолжаю работать над @Audio2Midi_bot 😐

Кароч теперь мы резиденты академии инноваторов и нам дали доступ к кластеру Ломоносов МГУ. Супер, впервые побывал там. Приятное место, да и сегодня там было очень пусто) Погода дождливая и воскресенье, а мы работаем до 22, хы.

Сейчас у меня 3 потока мыслей:
1) Заменить jukebox энкодер на энкодер получше, типа WavTokenizer) Их идея и правда крутая, хочу воспроизвести.
2) Сделать сильный декодер, сейчас просто трансформер с кросс энтропией инвариантной к октаве. Думаю один такой лосс многое не учитывает. Да и если брать WavTokenizer из 40-75 токенов получить полный миди файл звучит непросто. Наверняка нужно много данных и сильный декодер.
3) Смотрю в сторону иерархических архитектур в декодере. Для нот такая структура хорошо подходит, наверное. Распознавать такты, тональность, аккорды, длительность...

Обменялись новостями и начали ресерчить работы по automatic music transcription. На удивление в этом году появилось в 2-3 раза больше работ, чем в прошлом. Искали хорошие идеи для создания датасета, с его наличием большая проблема. Есть много аудио файлов где уже играет музыка на пианино по мотивам песен, но нет миди. Поэтому хотим сейчас решить проблему с недостатком данных через распознавание нот в аудио, где звучит ТОЛЬКО пианино. Эту задачу решить легче, но тоже сложно. Потестили сота модельки, они хорошо справляются, не без ошибок. Можно ещё распознавать миди по кадрам видео, трекинг прямоугольничков) Но такие модели еще совсем сырыре.

Просто дайте нам миллион аудио-миди пар, мы все сделаем, миу...

Серьезно, я же еще несколько месяцев назад был школьником без работы и такой и репутации, сидел в комнате 8кв и пялился в экран, а сейчас переехал в Москву...) Я до сих пор не могу привыкнуть и стараюсь особо не думать об этом... А что будет дальше, ооо!

Всем причастным к AI Conf от меня огромное спасибо! Очень рад, что уже сейчас смог стать частью такого вдохновляющего общества. 🙂

Я как мог старался поразить людей своей харизмой и умом))) Ещё вся музыка, которая играла между залами, настраивалась нами, поигрались в диджея хы. В целом все довольны, как я думаю. Ребята, если что пишите мне @varfolomeefff, постараюсь помочь.

Уровень организации конференции суперский, состав участников тем более. Вдобавок я как организатор получил компенсацию всех расходов связанных с конференцией, получил доступ к препати со спикерами и организаторами, меня накормили и одели) В общем быть организатором здорово) В прочем, не сказал бы, что другим участникам конференции было меньше заботы. ❤️

Конференция платная, не дешевая, но если у вас высоко развиты навыки общения, здесь вы можете построить себе репутацию среди "верхушки" отечественного ИИ, а также обменяться опытом с коллегами. Репутация может очень дорого стоить, в разном смысле. Лично я рассказал кучу всего необычного от себя и узнал о важных идеях/экспериментах от участников.

Мой круг общения был большой, конечно) Теперь есть новые и очень интересные знакомые, обязательно еще встретимся лично. Например меня пригласили в профи студию звукозаписи и ребята даже обучали свои нейронки для пения. Сгенеренную музыку даже можно продать за круглую сумму и сделать ее за 2 часа - 2 суток) Бывает... 😶

Также я встретился с невероятными гениями, плейбоями, филантропами... Это Денис @den4ikresearch, в 15 лет сделал лучший расстановщик ударений для TTS и еще кое-кто) Энивей мы все будучи школьниками начали работать над серьезными штуками. Здорово мы собрались вместе!

#конференция #карьера

👀 Уже не помню как, но я снова нашел довольно занятную стаью. Она занятна тем, что обращает внимание на неочевидные свойства эмбедингов после обучения модели, в данной статье взяли CLAP. Эта статья относится к тем, кто использует предобученные модели для линейных проекций.

Начем с важных заявлений:
1) Если использовать предобученные модели, fine tuning аудио/текстовых моделей для линейных проекций почти не имеет смысла. Можно просто взять предобученные модельки и результат будет немного хуже)
2) Используя предобученные модели, а затем дообучая и тестируя их на других датасетах, запросто может произойти утечка данных. Просто потому, что датасеты претрейна и трейна покрывают много меток, в тестовом наборе они также могут содержаться.

Заметить это удалось путем T-SHE визуализации эмбедингов текста/аудио, их линейных проекций, а также линейных проекций после fine tuning. Утечка данных влияет на проекции аудио (рис. 1).

Далее, важный факт, что рядом находятся эмбединги, аудио которых похоже звучит. Например (рис. 1d) кластеры "crackling fire" и "mouse click" перемешались. Тогда, как текстовые проекции опираются на семантику. Например (рис. 2) кластеры "clock alarm" и "clock tick”.

Это было с применением fine tuning, а теперь посмотрим на кластеры без него (рис. 3). Видим, что кластеры не очень то и поменялись.

Вообще, смотреть кластеры прикольно, но для автоматизации авторы придумали простую метрику сравнивающую похожесть кластеров (рис. 4).

Класс и зачем я это прочитал... А вы зачем прочитали)) Вот и авторы говорят, мы надеемся, что это поможет ресерчерам и будет учитваться при дальнейших разработках. Возможно имеет смысл обучать модельки для проекций с нуля, как это решили сделать авторы, кстати при этом, на чистых данных они смогли опередить оригинальный CLAP. Придумать этому примнение я оставлю на вас) Для себя же я уже кое-что придумал 😬

Но все же прикольно, что теперь можно подойти и сказать, слыш, твой CLAP обучаеся не так, как ты думаешь)))

#papers #audio #images