Почему бы и да, ведь часто хорошо работает.
Но всё равно каждый новый день умудряется удивить.
В этот раз в LLM запихали музыкальную ABC нотацию 🎸
Работа называется ChatMusician.
We introduce ChatMusician, an open-source LLM that integrates intrinsic musical abilities. It is based on continual pre-training and finetuning LLaMA2 on a text-compatible music representation, ABC notation, and the music is treated as a second language. ChatMusician can understand and generate music with a pure text tokenizer without any external multi-modal neural structures or tokenizers.
Уверяют, что:
Interestingly, endowing musical abilities does not harm language abilities, even achieving a slightly higher MMLU score.
😳
На сайте по ссылке можно послушать примеры, но мне больше всего понравился прикрёплнный к посту.
Есть даже некоторое эпическое развитие сюжета.
Обратите внимание, как выглядит вход – задаётся структура:
Text Input:
Develop a composition by incorporating elements from the given melodic structure.
Musical Form Input:
Ternary, Sectional: Verse/Chorus/Bridge
Данные и модели выложили.