👀 Уже не помню как, но я снова нашел довольно занятную стаью. Она занятна тем, что обращает внимание на неочевидные свойства эмбедингов после обучения модели, в данной статье взяли CLAP. Эта статья относится к тем, кто использует предобученные модели для линейных проекций.

Начем с важных заявлений:
1) Если использовать предобученные модели, fine tuning аудио/текстовых моделей для линейных проекций почти не имеет смысла. Можно просто взять предобученные модельки и результат будет немного хуже)
2) Используя предобученные модели, а затем дообучая и тестируя их на других датасетах, запросто может произойти утечка данных. Просто потому, что датасеты претрейна и трейна покрывают много меток, в тестовом наборе они также могут содержаться.

Заметить это удалось путем T-SHE визуализации эмбедингов текста/аудио, их линейных проекций, а также линейных проекций после fine tuning. Утечка данных влияет на проекции аудио (рис. 1).

Далее, важный факт, что рядом находятся эмбединги, аудио которых похоже звучит. Например (рис. 1d) кластеры "crackling fire" и "mouse click" перемешались. Тогда, как текстовые проекции опираются на семантику. Например (рис. 2) кластеры "clock alarm" и "clock tick”.

Это было с применением fine tuning, а теперь посмотрим на кластеры без него (рис. 3). Видим, что кластеры не очень то и поменялись.

Вообще, смотреть кластеры прикольно, но для автоматизации авторы придумали простую метрику сравнивающую похожесть кластеров (рис. 4).

Класс и зачем я это прочитал... А вы зачем прочитали)) Вот и авторы говорят, мы надеемся, что это поможет ресерчерам и будет учитваться при дальнейших разработках. Возможно имеет смысл обучать модельки для проекций с нуля, как это решили сделать авторы, кстати при этом, на чистых данных они смогли опередить оригинальный CLAP. Придумать этому примнение я оставлю на вас) Для себя же я уже кое-что придумал 😬

Но все же прикольно, что теперь можно подойти и сказать, слыш, твой CLAP обучаеся не так, как ты думаешь)))

#papers #audio #images