Мусорный ­контент губит не только людей, но и ИИ 🤖

Грустную правду раскопали китайские исследователи и свели в отчет: LLMs Can Get "Brain Rot

Соцсети всё больше заполняются сгенерированным контентом: короткие шутки, вирусные посты и минимум смысла.

Чем больше такого "мусора" попадает в тренировочные данные, тем слабее становится модель. После нескольких недель обучения модели начали хуже понимать тексты и терять логику — качество упало примерно на 20-30%. А у некоторых моделей проявились черты нарциссизма и психопатии. 🚬

При этом даже последующая очистка данных и до-обучение не откатывает всё обратно.

Такие дела. Пошел дальше смотреть ИИ-тикток, а если у вас есть продукт AI-based, то теперь понятно насколько важно следить за тем, как собираются данные для обучения.