👀 Почему я выбрал аудио? Что хочу сделать в этом направлении?
Для начала... С днем знаний! (о нет) Еще меня не раз спросили вопросы выше и пора выкатить пост, в котором нет ничего полезного, но это может разбавить ваши выходные. Мне всегда с таким трудом удается щитпостить, совесть мучает, хаха.
1️⃣ Машинное обучение применяется много где) Но я выбрал именно аудио домен. Каждый из нас сделал выбор, который не может объяснить, кроме как: хочу/не хочу и все. Я выбрал аудио домен и все же попробую объяснит почему. Для этого решения есть некоторая интуиция, которую вам не стоит воспринимать всерьез:
1) Нашел
проблему, которую хочу решить лучше остальных: извлечение MIDI из аудио произвольного содержания.
2) Я люблю сложное. Но не по жизни) Вкатиться в аудио мл сложнее чем в NLP или CV, почему? Вот я и захотел узнать почему. Во-первых с аудио сложнее работать. Во-вторых аудио в принципе не главный тип данных в интернете) Для изучения аудио мл гораздо меньше материалов и данных, значит вероятность сделать нечто значимое и выйти в свет для меня выше. Аудио это данные очень большой размерности и обработка, а тем более генерация аудио это довольно сложный процесс. Наверное раньше у мира не было сотен тысяч H100, чтобы обучать такие модельки как
suno.ai . Сейчас только начинается время, когда сгенерированная музыка может играть на вечеринке (далеко не каждой, хах). Однако оптимизация инференса особенно нужна в генерации аудио.
3) Генерация аудио дает результат, который я лучше всего могу ощутить) Ну, типа посмотреть на картинку или текст требует больше внимания и дает меньше ощущений)
4) Да, банально, но в аудио мл также пересекаются идеи из CV и NLP и тд, а также само аудио интересная структура данных. Преобразование Фурье мой любимый алгоритм и мне интересна психоакустика звука.
2️⃣ Что хочется развивать? Аудио ML, не очень развит в плане доступности полезных материалов и передачи опыта от ведущих аудио команд страны. То, что не будет мешать моей компании, я буду рассказывать. Здесь, на конференциях и других каналах. Скоро выйдет первый пост из этой серии. Он будет про то, как работает звук, предобработку данных, спектрограммы, векторное квантование. Также скоро напишу про
AI Conf и это будет реклама меня и конференции, нинада меня хейтить, лол... (видел других хейтят). На конфе я хочу принести пользу вместе с коллегами из
X-Labs AI и вам тоже достанется (в любом случае). Также начинаю делать R&D на работе и начинаю R&D в своем стартапе. Сделаем топовые модельки для генерации аудио и извлечения MIDI, yes.
❤️ Получился небольшой анонс о будущем канала и моем будущем) Стану лицом отечественного аудио и своего поколения ресерчеов, вухахахах! Не обижайтесь ребят, я тип только за помогать и принимать помощь, никакой токсичной конкуренции))) Я делаю для удовольствия 😬
#теперь_хештеги_на_русском #обо_мне #вопрос_ответ
