На этом канале и в других пабликах периодчески возникала дискуссия о пользе претринировки языковых моделей на ДНК. В этой дискуссии мне указывали на статью, в которой якобы доказана "бесполезнойсть" претренировки - мол, можно просто аккурантно инициализировать модель и качество будет таким же (или даже лучше), как после претренинга.

Отмечу, что это была не статья, прошедшая peer-review, а препринт, который висит на bioxriv c 2024 года. Совсем недавно авторы опубликовали доработанную статью на ICLR. Теперь утверждение о том, что можно просто инициализацией добиться таких же результатов, что и в ходе претренировки, получило много оговорок - это верно только для определенных моделй, с определенным токензайером, на определенных задачах и т.п. Общий посыл авторов теперь совсем другой:

For the tasks we study, these results suggest that current NLP-style pretraining strategies provide modest, tokenizer-gated improvements over strong random baselines and motivate more biologically informed tokenization and variant-aware objectives.

С этим утверждением я полностью согласен - и поиск more biologically informed tokenization and variant-aware objectives как раз является одним из мейнстримов области.

И даже название статьи изменилось - раньше статья называлась "Genomic Foundationless Models: Pretraining Does Not Promise Performance", а теперь "TOKENIZATION TO TRANSFER: DO GENOMIC FOUNDATION MODELS LEARN GOOD REPRESENTATIONS?"

В статье много интересного, но главная картинка - Fig. 1 (приведена ниже) - наглядно убеждает в пользе претренировки. Хотя, как я не раз писал, проблем пока много и прирост от претрены очень небольшой.