TGViewer
Channel Public Channel
VF | Science

VF | Science

@vf_science

Генерацией музыки и всем, что связано с аудио ML я занимаюсь, а всем остальным ML интересуюсь)

Делюсь знаниями, мыслями, событиями по своей карье, делаю анонсы своих онлайн/офлайн мероприятий.

Автор: @varfolomeefff
Subscribers
1.13K
Photos
225
Videos
23
Links
92

Showing posts older than #448 · Back to latest

Older Posts 10 shown
Post #447 1.41K
Den4ik Research AIRI Poster.pdf
Нифига, я выбрал делать выделение экшнов из видео для обучения VLA (Vision Language Action) моделей, которые интегируются в роботов. Хотя там тоже есть VQ-VAE и играет критическую роль. Это позволит сделать фаундешн модель для роботов, однажды, кому-то, как пойдет, или не пойдет) Удачи мне... :)
  • ⚡ 12
  • ❤‍🔥 5
  • ❤ 2
  • 👍 1
  • 🤯 1
Post #446 1.16K

Forwarded from Den4ik Research

AIRI Poster.pdf2.7 MB
Наш проект на Лето с AIRI 👾

Мы с Захаром @vf_science решили выложить постер с нашим методом, по которому, вероятно, будет наш финальный проект.

Но есть несколько дополнений, ибо места в постере мало (проговорим вживую на постерной сессии):

1. Перплексия считается по кодбуку, а не по языковой модели (И да, чем больше тем лучше)
2. MOS низкий, поскольку у нас небыло времени обучить на достаточном количестве данных, а рисерч пропозал делать надо :)
3. Планируем сэмплировть новые коды в менее плотных местах распределения + имеет смысл проводить революцию среди насэмплированных кодов


@den4ikresearch
  • 🔥 5
  • ❤ 4
  • 👍 1
Post #444 1.22K
👾 Открытие "Лето с AIRI"

В октябре я впервые встретился с Иваном Валерьевичем Оселедцем, генеральным директором AIRI. Полчаса я крутился и не мог решиться подойти, но подошёл. Оказалось совсем не страшно и не сложно говорить с уважаемым ученым, преподавателем, директором... Разговор пошел очень легко и плодотворно. Это было на конференции Fall into ML и тогда я решил, что напишу А* статью, а также поеду на лето с аири. Как нам сказали, это событие федерального масштаба и теперь ясно почему.

После того дня я много раз пересекался с сотрудниками аири, начал ходить на открытые семинары, научные конференции. Начал более углубленно изучать все, что казалось, я уже знал. Нашел тему для исследования, собрал множество мнений, навязывался к очень серьезным ученым и это было не зря! Поэтому сегодня я здесь.

Сейчас атмосфера и окружение способствует познанию нового. Конечно, мне очень захочется поделиться своим пониманием и выводами. До скорого.

#airi #carieer
  • ❤‍🔥 21
  • 👍 11
  • 🗿 2
  • ⚡ 1
Post #443 1.31K
Пов: как Захар проходил собесы в Яндекс, Сбер, Звук, Т-Банк и другие чудесные места

P. S. завтра сессия и 3 собеса в 1 день, как это произошло не знаю 😢
  • 🤣 26
  • 😁 6
  • 🔥 3
  • 💘 2
  • ⚡ 1
Post #442 1.3K
👀 Небольшая демонстрация результата работы новой модели в @Audio2MIDIBot

Звучать стало несколько лучше на семплах, где модель повторялась и была неточной. Совсем скоро будет ещё лучше 💯

Далее хочется ускорить инференс и сделать модель компактнее.

#audio #startup
  • 🔥 21
  • ❤ 9
  • 👏 4
Post #441 1.21K
VF | Science Video message
Кто любит джаз?) 🎶
  • ❤‍🔥 18
  • ☃ 3
  • 🗿 3
  • ❤ 1
  • 🍾 1
Post #440 1.29K

This post (sticker, poll or similar) has no web preview. Open in Telegram

  • ❤ 15
  • ❤‍🔥 8
Post #439 1.37K

Forwarded from Ученый без степени | AI-блог Ани

🔍 Кстати, если вы давно искали структурированное руководство по аудио-кодекам — то вот оно!

🔗 «Discrete Audio Tokens: More Than a Survey!»
🔗 Бенчмарки

Исследователи создали:

🔥 Таксономию токенайзеров: обзор подходов по архитектуре, способам квантизации, типам обучения и применению (речь, музыка, аудио вообще)

🔥 Анализ токенов: EnCodec, DAC, WavTokenizer и др. — что и как работает

🔥 Бенчмаркинг на разных задачах: от реконструкции аудио до задач понимания и генерации с LLM

Есть, что поизучать на выходных 💃
  • ❤ 7
  • ✍ 5
  • 👍 3
Post #429 10K
❤️ Секция про ML в музыке на DataFest 2025!

Посмотреть запись секции: https://vkvideo.ru/video-164555658_456241380?t=5h35m33s
Отдельно доклады будут выложены на ютубе позже.

Впервые за время существования датафеста (10 лет!) мною была собрана секция про ML в музыке и сразу 5 спикеров на 1 площадке:
▪️Максим Смоляков: "AI-Generated Music: методологии оценки качества и оптимизация генерации."
▪️Алексей Попов: "Генерация пения с помощью диффузионных трансформеров."
▪️Иван Разворотнев: "Foundation Audio Models For Music."
▪️Николай Глазырин: "Трейлеры в Яндекс Музыке с точки зрения ML инженера."
▪️Захар Варфоломеев (я): "Автоматическая транскрипция музыки в ноты фортепиано. Часть 2. "

На докладах мы послушали музычку и узнали множество инсайдов при работе с авторегрессией и диффузией для генерации музыки, а также обсудили задачи music information retrieval (MIR), где поговорили о foundation моделях в музыке, существующих подходах (актуальных и не очень), выделении трейлеров в музыке, исследованиях по аудио кодекам... список длинный, поэтому предлагаю почитать резюме в формате карточек!

🔤🔤На карточки про себя места не хватило, интересную мысль с моего доклада расскажу в следующем посте. Идеи применимы не только к моей задаче транскрипции музыки, а в целом к TTS/ASR моделям и не только 😬

#music #audio #perfomances
  • ❤ 16
  • ❤‍🔥 8
  • 👍 3
  • ✍ 2
  • 🔥 2
Post #425 1.68K
👀 Тот самый приветственный пост спустя 19 месяцев

Меня зовут Захар Варфоломеев @varfolomeefff. Обучать нейронки это моя работа, я ML Engineer, объединяю музыку и технологии, а также немножко ученый и предприниматель + организатор и спикер на конференциях. Тяжело выделить конкретные факты, их много. Сначала начну со своей личности, потом расскажу про факты о карьере. Пора бы записать новый подкаст вообще)) А старые я, конечно, не дам 😆

Самое актуальное:
*️⃣Вокруг меня просто невероятные люди! Я общался со всеми слоями населения, знаю их истории и разделяю их взгляды. Мое окружение состоит из айтишников с опытом работы больше, чем мне лет, руководителей крупных департаментов, долларовых миллионеров, ученых с мировым именем, преподавателей... Есть лучшие из лучших, а в то же время я знаю, как живут и чего хотят обычные люди. Мне очень повезло, я тоже выходец из простой семьи. Кроме профессиональных кругов есть друзья и среди музыкантов, и профи спортсменов, писателей, врачей, юристов... Я узнал, какой интересной может быть жизнь, сколько всего можно попробовать и как работу, и как развлечение.
*️⃣У меня очень много интересов: шахматы, баскетбол, бильярд, фортепиано, бальные танцы, графический дизайн, стрит и астрофото, преподавание, люблю выступать на публику, печь тортики, сочинять стихи, кататься на скейте, смотреть аниме, изучать английский и японский, играть в комп. игры... список пополняется. Это скорее плохо, но сам по себе интерес не вредит)
*️⃣Я делал очень много ошибок, очень много мучился от десятков параллельных мыслей, слишком быстро взрослел, совсем не по годам и не от хорошей жизни (но жаловаться не на что). Завалил ЕГЭ, но устроился на работу мечты. Потерял друзей, но обрел новых, невероятных. Часто "тушил пожары", ничего не успевал как следует. Но тяжелые времена рождают сильных котиков!
*️⃣Начал кодить в 12 лет, я классический вкатун, у меня не было знакомых инженеров, математиков и т.д. В основном я и люди вокруг были творческими личностями.
*️⃣Последний год делаю стартап @Audio2MIDIBot, мы набрали более 15 тыс. юзеров и проверили много гипотез, сейчас учим новые нейронки.
*️⃣Весь мой коммерческий опыт в ML связан с обработкой аудио. Я обучал нейронки для генерации музыки, извлечения музыкальной информации, синтеза речи, классификации звуков и т.д.
*️⃣Люблю делиться знаниями, я потомственный преподаватель) Вы могли видеть мои выступления на множестве ML конференций, в вузах, в школах, на ютуб стримах и т.д. Получалось плохо, но становится только лучше.

Вот такой водопад слов! Теперь поделюсь примерами постов на разные темы:
1) Мое выступление с прошлого года и с этого года на DataFest.
2) Разбор в формате карточек секции ML in Music на датафесте (когда настроение хорошее, могу дизайнить, хы).
3) Немного о личной жизни.
4) О посещении конференции AIConf
5) Про мой ресерч VQ-VAE моделей: раз и два

Всем хорошего дня! Пора в путь.
  • 🔥 28
  • ❤ 19
  • 🏆 13
  • 💩 3
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →