👀 Почему я выбрал аудио? Что хочу сделать в этом направлении?

Для начала... С днем знаний! (о нет) Еще меня не раз спросили вопросы выше и пора выкатить пост, в котором нет ничего полезного, но это может разбавить ваши выходные. Мне всегда с таким трудом удается щитпостить, совесть мучает, хаха.

1️⃣ Машинное обучение применяется много где) Но я выбрал именно аудио домен. Каждый из нас сделал выбор, который не может объяснить, кроме как: хочу/не хочу и все. Я выбрал аудио домен и все же попробую объяснит почему. Для этого решения есть некоторая интуиция, которую вам не стоит воспринимать всерьез:

1) Нашел проблему, которую хочу решить лучше остальных: извлечение MIDI из аудио произвольного содержания.
2) Я люблю сложное. Но не по жизни) Вкатиться в аудио мл сложнее чем в NLP или CV, почему? Вот я и захотел узнать почему. Во-первых с аудио сложнее работать. Во-вторых аудио в принципе не главный тип данных в интернете) Для изучения аудио мл гораздо меньше материалов и данных, значит вероятность сделать нечто значимое и выйти в свет для меня выше. Аудио это данные очень большой размерности и обработка, а тем более генерация аудио это довольно сложный процесс. Наверное раньше у мира не было сотен тысяч H100, чтобы обучать такие модельки как suno.ai . Сейчас только начинается время, когда сгенерированная музыка может играть на вечеринке (далеко не каждой, хах). Однако оптимизация инференса особенно нужна в генерации аудио.
3) Генерация аудио дает результат, который я лучше всего могу ощутить) Ну, типа посмотреть на картинку или текст требует больше внимания и дает меньше ощущений)
4) Да, банально, но в аудио мл также пересекаются идеи из CV и NLP и тд, а также само аудио интересная структура данных. Преобразование Фурье мой любимый алгоритм и мне интересна психоакустика звука.

2️⃣ Что хочется развивать? Аудио ML, не очень развит в плане доступности полезных материалов и передачи опыта от ведущих аудио команд страны. То, что не будет мешать моей компании, я буду рассказывать. Здесь, на конференциях и других каналах. Скоро выйдет первый пост из этой серии. Он будет про то, как работает звук, предобработку данных, спектрограммы, векторное квантование. Также скоро напишу про AI Conf и это будет реклама меня и конференции, нинада меня хейтить, лол... (видел других хейтят). На конфе я хочу принести пользу вместе с коллегами из X-Labs AI и вам тоже достанется (в любом случае). Также начинаю делать R&D на работе и начинаю R&D в своем стартапе. Сделаем топовые модельки для генерации аудио и извлечения MIDI, yes.

❤️ Получился небольшой анонс о будущем канала и моем будущем) Стану лицом отечественного аудио и своего поколения ресерчеов, вухахахах! Не обижайтесь ребят, я тип только за помогать и принимать помощь, никакой токсичной конкуренции))) Я делаю для удовольствия 😬

#теперь_хештеги_на_русском #обо_мне #вопрос_ответ