VF | Science

Девушки: блин я хотела айфон 15 про макс...
Захар: оаоао спасибо за дряхлую деревяшку

P. S. Другану привезли видюху в деревянном ящике, а мне досталась часть от него) Думаю станет отличной декорацией для фона на стримах 🙂

Привет ребят! Сегодня самый значимый день в моей жизни и я ждал два очень важных результата, вот они!!!

1) Меня взяли на конференцияю AI Conf и я буду вести секцию AI в музыке! Позже напишу об этом подробнее.
2) Меня взяли на работу мечты!!! Дааааа. Теперь я буду заниматься обработкой и генерацией аудио в отличном коллективе с кластером H100)) Ура! Буду стараться экспоненциально развивать свои навыки и эффективность работы 💪

Всего хорошего ребят и до скорого.

Сейчас 3 ночи, поставил выход поста на таймер. Сижу как полузомби и думаю 🥰. Недавно же прошел стрим, где я общался человеком, который научил меня программированию и я услышал слова, что он мной гордится 💚 и я первый ученик, для которого выделили целый стрим. На самом деле я не привык к такому внимаю в свою сторону, но люблю, когда меня замечают)) Раз Вы, моя лучшая часть человечества, замечаете меня, то скажите пожалуйста, что вам было бы интересно видеть на этом канале? 😏

Прихожу к мысли, что особенно интересные технические посты я могу делать не очень часто. Буду постить про свой ресерч модельки аудио в ноты и др. ресерч. Также разборы статей штука классная, вообще скоро я сделаю нечто очень крупное и такого теоретического материала про Audio ML вы не найдете даже у индусов. Стримы и статьи от меня не за горами 😬

Также прихожу к мысли, что хочу разбавлять душный контент и писать всякие посты с моей карьерой и жизой, а то и шизой. Все же формальный и жоский научный канал это не для меня. Пора моей юности и сейчас будет самый активный период моего развития. Глобально я такой тупой, ведь мне есть с кем сравнить и пофиг что они гении, и на 20 лет старше меня 💪. Я уже будто бы получил такие большие возможности, когда осталось лишь пользоваться ими и развивать. Дальше о развитии и пойдет речь.

Мы с Димой скоро запускаем свой проект, у нас есть команда и куча идей для ресерча, которые я обязательно воплочу. Некоторые настолько абстрактны) что я пока даже описать их не могу. Также я люблю делиться знаниями и делать это бесплатно. Уже как год я нахожусь в оочень классном коллективе БАШНЯ, где мы развиваем IT комьюнити и уже в этом году мы выросли из локации МГТУ на все вузы мск и даже другие города. Я буду продолжать вместе с командой захватывать ИТ комьюнити страны и приносить пользу)) Также делиться знаниями я люблю на конференциях и митапах. За ласт год 2 раза выступал в ODS и недавно подался на AI Conf, крутая конфа на уровне близком к AI Journey, но жоска ориентированная на практику. Меня отклонили, но до конца не хотели делать этого. За то я понял, как сделать доклад чуть ли не идеальным) Также со мной не расстались после этого и предложили сотрудничать, даже два предложения от разных организаторов. Возможно буду вести зону ИИ в музыке и пока должен придумать всякие активности и технические подборки материалов. Сегодня снова созвон с программным комитетом, где я надеюсь защитить свои идеи. Кроме этого... Да, еще не конец. Пора выходить на работу мечты, с задачами мечты и уже как 2 месяца должен попасть на такую. Таких челов и задач на всю старну по пальцам пересчитать. Недавно прошел ласт собес, где просто ужасно не мог включиться в него, концентрация улетела и в голове стук сердца, как так, но наверное это из-за того, что это событие было самым значимым в жизни для меня. Потом предложили сделать тесовое, реализовать с нуля и обучить на их данных вокодер (штука для синтеза речи, из картинки звука делает аудио файл). Было 5-6 дней на это, я начал упорно делать за 4 дня до конца и мне оч понравилось) Реально, я впервые кодил модель с нуля по статье и обучал ее на... nvidia H100! Афигеть, не думал что руки дойдут до такого. Кароч было непросто для моего опыта, но сойдет. Наверн багов 30 пофиксил самых разных типов и причин. Но обучить хорошо до дедлайна не успел, оказывается я не то подавал в лосс)) Однако я сказал причины всех багов и как их исправить. Жду кучу результатов по моим инициативам. И скоро будут еще инициативы. А еще не скоро, но оч хочу в следующем году пройти на лето с AIRI)

Такие дела, вам будет интересно меня читать?))) 💚

Привет господа и господамы 🙂

Сегодня будет необычный стрим с кликбейтным названием, миллион у нас на команду моего с Димой стартапа Audio2MIDI) Знаю я, как к таким стримам относятся порой, но это не инфоциганский стрим с очередными советами типа учитесь гуглить, это важно)))

На стриме я буду гостем и поделюсь своей историей со временен, когда я был бекендером и отвечу на вопросы. Дальше меня будут чаще звать на такие мероприятия, но ничего бы не было без моего учителя. Есть у меня человек, без которого вероятно я бы не стал программистом, а потом ML инженером/ресерчером. Не стал бы вести этот канал и не стал бы преподавать. Мы знакомы 5й год и человек, который дал мне выйти в мир ИТ print("Hello world!') это Михаил Омельченко.

Стрим будет в 20:00

Друзья, хотим с вами поделиться, что сегодня был тот самый счастливый семинар!✨

Почти год назад мы с Настей @museling обещали наградить юбилейный 100-й доклад. Так получилось, что юбилейный доклад был на прошлой неделе, и его проводил организатор, поэтому мы хотим перенести эту награду на 101-й доклад и вручить её Захару @varfolomeefff 🤩

Хотим поблагодарить всех вас за то, что мы все вместе набрали уже более 100 докладов, и не собираемся на этом останавливаться! Приходите с докладами, пишите обзоры и просто подключайтесь послушать - мы очень рады каждому участнику💗

Спасибо сообществу DS Talks за место, где каждый может обсудить идеи представленные в статьях с ML конференций!

Хочу, чтобы оно продолжало развиваться вместе со своими докладчиками, чтобы масштабы и качество только улучшалось 👍

Я всегда относился к идее VQ-VAE с особым вниманием. Неведанным мне образом, VQ-VAE лучше, чем просто VAE, ведь у нее пропал апостериорный коллапс, так еще и качество генерации стало лучше и даже разнообразие данных на выходе (обобщаемость). Победу VQ объясняют тем, что... ну вот с дискретными данными все лучше (рис. 1, где чуть ниже нет ответа, нигде его нет). Наверное, тут история как с трансформером: хорошо работает, потому что потому. Но мы все равно постараемся обосновать 💡

Хотя чего мне ожидать, ML это естественно научная дисциплина и некоторое без экспериментов не понять совсем. Идея VQ-VAE активно применяется с некоторыми модификациями для кучи задач, т.к. дискретные репрезентации можно использовать на вход трансформеру)) Вот она главная причина актуальности VQ-VAE, но, конечно, не единственная. Всякие DDPM диффузионки также используют идею VQ-VAE. Кроме того, VQ-VAE используют для кодирования аудио/картинок в мультимодальное пространство эмбедингов 👍

Но есть серьезная проблема — размер кодовой книги. Кодовая книга сама по себе большая, а при более-менее длинном куске данных может достигать 2^40 элементов. Следовательно, если нужно будет дообучить модель или кодовую книгу, вам придется много ждать. Эту проблему в некоторой степени решила идея residual vector quantization (RVQ). Кроме того, есть другая идея масштабирования кодовой книги, о которой вряд ли кто-то знает: RAQ-VAE. Завлекла статейка ☺️

Авторы предлагают 2 метода для динамического размера кодовой книги: на основе модели, используя оригинальную кодовую книгу для дифференцируемой кластеризации (DKM) (рис 2.) и на основе данных, здесь мы тоже берем ориг. кодовую книгу, а затем на ее основе sec-2-sec предсказываем оптимальную кодовую книгу (рис. 3). Не претендую на разбор статьи в этом посте, а сделаю это позже на ютубе или в карточках, эээ, но это не точно. Пока просто рекомендую статью, т.к. она не про трансформеры)) Представлена новая идея, к тому же объяснения сопровождаются математикой, что приятно. Также в статье довольно интересные референсы, особенно в 4 главе про сопутствующие этой статье работы.

#papers

Выложили видосы с конфы Т-банка с трека CV + Speech

- Как развитие LLM влияет на будущее голосовых технологий
- Визуально-текстовая мультимодальность
- Ускорение создания моделей синтеза речи — от обработки данных до production
- От непризнанного научного бенчмарка до основной метрики качества голоса в VK Звонках
- Тренды в современном CV
- Генерация речи с помощью LLM
- OCR в Т-Банке
- Диффузионные модели как внутренний инструмент создания контента

А почему я только сейчас узнал об этой олимпиаде...
(ой, я так хочу писать бустинги в Болгарии).

P. S. ладно, больше не сказать, что я школьничек, этим летом закончил 11 класс 😢

Хочется поделиться кое-чем 😐

Мой дорогой дневник меня неожиданно опубликовали на канале ODS AI с DataFest2024. Очень приятно, класс. Не знаю, что это значит и когда будут опубликованы другие доклады, но почему то вижу себя на канале, хы. Первый раз выступал на дата фесте, а год назад смотрел на страничку конфы и думал какие классные ребята, тоже захотел на сцену. Сперва попал на сцену Яндекса во время DNY 2024, где был мой первый блин, ой не хочу вспоминать некоторое...) А теперь вот) Причем сам я бы не решился выступать, это все благодаря организаторам. Нашли и вырастили спикера (меня, но мне еще расти и расти, конечно).

P. S. Осенью/зимой продолжу выступать с докладами про аудио домен. Все уже стало лучше, рад, что организаторы позвали меня выступить на дата фесте, супер полезный опыт, о котором скоро напишу и сделаю выводы ✨

Ну это не ICML или NeurIPS, но одна из самых важных ML конф в России, по крайне мере (ну, когда то такой была, 4-5 лет назад объем участников был 60к, эх, вот это ODS был раньше). А щас 225 просмотров, да, я рад)

😬 New foundation models for audio understanding and generation.

На днях вышла интересная работа с открытым кодом — FunAudioLLM. За недельку-две репозиторий набрал 2,8к звезд. Конечно, сейчас все что foundation довольно значимо.

FunAudioLLM это семейство foundation моделей, которое состоит из двух моделей:
➡️ SenceVoice — для распознавания речи (рис. 1).
➡️ CosyVoise — для синтеза речи (рис. 2).

Особенности SenceVoice:
🔷Поддерживает многоязычное распознавание речи, модель обучена на более 300к часов.
🔷Есть 2 варианта модели. SenseVoice-Small быстр на инференсе, задержка распознавания составляет менее 80 мс и более чем в 5 и 15 раз быстрее, чем Whisper Small и Whisper-large, соответственно, а SenseVoice-Large поддерживает высокоточный ASR для более чем 50 языков.
🔷Кроме того, Sense Voice поддерживает расширенную транскрипцию, включая современное распознавание эмоций, обнаружение звуковых событий, обратную нормализацию текста и пунктуацию.

Особенности CosyVoice:
🔷Поддерживает 5 языков и был обучен на 170к часов аудио.
🔷Сэмплы, сгенерированные Cosy Voice, могут быть сгенерированы менее чем на 2% и более чем на 75% похожи на говорящих, что позволяет достичь уровня качества, равного человеческому.
🔷Поддерживает zero-shot контекстное обучение, которое позволяет клонировать голос за 3 секунды речи.
🔷Тембр, эмоции, просодия и стиль могут быть воспроизведены как на одном, так и на разных языках.
🔷Есть модель инструкций, которая может управлять личностью говорящего, стилем речи (например, эмоциями) и другими тонкими паралингвистическими особенностями с помощью текстовых инструкций.

Но также есть ограничения, о которых советую почитать в статье и гитхабе 😏

Говоря в общем, кажется, что траснформерами, в которые напихать кучу аудио модальностей мы далеко не уйдем) Это касается генерации аудио. Хотя, если вычислительные мощности будут типа квантовых компов, то... Думаю сейчас не хватает именно вычислительных ресурсов, причем не только для обучения, но и для инференса на устройствах юзеров. А вероятность, что изобретут супер оптимальный и репрезентативынй подход для генерации аудио мала.

#audio #foundation_models #stt #tts

Сегодня обсудим базу, вокруг которой есть некоторый шум. Последний год мне доводится слышать, мол dropout неактуален, потому что есть batchnorm. Не знаю почему некоторые так безжалостно выкинули дропаут, наверное потому, что batchnorm полезный:
*️⃣Ускоряет сходимость, т.к. сглаживает функцию потерь и поэтому шаг сходимости растет.
*️⃣Интересным образом регуляризует сетку, но с меньшим эффектом, чем дропаут. Однако, это все типа компенсируется оптимизатором AdamW ))
*️⃣А еще, довольно интересное свойство — масштабная инвариантность параметров секти. Тут есть некоторые интересные размышления об этом.

Ну и типа... А что етот ваш dropout, на вид тяжелая операция, которая не дает бонусов от batchnorm. Ну, во-первых batchnorm не всегда полезен, кто знает, тот знает. Кстати, в PyTorch у batchnorm есть ошибка. Во-вторых, этот пост ради не очень значимой, но интересненькой статьи: "Dropout Reduces Underfitting". В ней говорится, что:
*️⃣ Dropout делает оценку градиента ближе к истинной (рис. 1). Это наблюдается у всех оптимизаторов (рис. 2). Но при этом норма градиента с dropout ниже, чем без, но мы проходим дальше.
*️⃣ Помогает бороться с недообучением (рис. 2). Если ваша модель недообучается, то dropout следует применять в начале обучения и в определенный момент выключить. Иначе, dropout следует использовать через некоторое время после начала обучения. Если не следовать этим рекомендациям, то вы получите меньший профит, как утверждают авторы. Этот эксперимент был поставлен на модели Vision Transformer и... все))

Так и что, какие выводы? Наверное, вывод в том, что не нужно забивать на dropout (а я так делал) и осознать, что ML бывает действительной тонким и необычным😬 То есть бывают случаи, когда именно dropout поможет выбить лучший профит от сетки.

Помним, что в машинном обучении очень много токностей, которые мешают идеям обобщаться на все случаи.

Давно не писал о проекте Audio2MIDI, а ведь есть чем поделиться. Самое яркое событие — наша команда получила грант! Большой респект моей команде, которую я обрел после выступления на Data Fest о моей задаче и будущих направлениях ресерча.

Чего мы хотим? Мы хотим сделать более качественные ответы модели и чтобы это работало быстрее, чем у конкурентов) База. Чтобы сделать более качественные ответы, первым делом нужно посмотреть на данные.

Уверены, что нужно собрать свой датасет формата: аудио — ноты. Сложная задача, потому что таких пар, так еще и качественных не сильно много, но и не мало, главное найти из самых разных мест интернета. Мы справимся с этим) Есть разные пути... Собрать готовые миди, найти исходное аудио (сложно), но также бывает, что миди нет, но ноты в некотором виде есть. Будем пробовать выцепить ноты из видео/аудио (еще сложнее), где звучит адаптированная музыка на фортепиано. Успехов нам)

В плане модели с моей стороны будет развиваться решение задачи, как end2end. Для этого нужно токенизировать таргет (ноты) и я предлагал инструмент midi токенизации. Однако он мне не подходит, т.к. хочу генерировать ноты разной сложности (чтобы можно было из 1 последовательности нот получить ноты разной сложности). Для этого мне нужно обновить словарь токенов и заново обучать midi токенизаторы на основе LLM.

Также для ускорения и оптимизации модели попробую заменить аудио репрезентации JukeBox, на EnCodec и некоторые другие. Также вместо простого разряженного трансформера попробую использовать LM, например Canine-C (почему, скажу потом) и другие. Также, наверняка будет проблема с длиной контекста, буду собирать аудио частями или оптимизирую длину контекста через multy-sacle transformer... Плюс токенизировать аудио можно по разным модальностям: разделить инструменты и вокал, затем объединить 2 последовательности. Ну например сделать это также как в CLAP: поэлементно перемножить 2 последовательности одинаковой длины.

У меня много идей, которые нужно проверить и много идей, которые я даже не до конца сформировал, чтобы ими поделиться. Нужно углубляться в методы авторегрессионной генерации, кстати для аудио есть отличная статья в этом плане. Если полностью изучите ее, то считайте, что познали аудио домен (исключая диффузионки в аудио). И наконец, я начинаю изучать диффузионки (очень интересно, да).

#startup #music_transcription #audio