ИИ тоже могут «потерять голову» от думскролинга

Исследователи из Техаса нашли интересную параллель между людьми и моделями ИИ. Оказалось, что если LLM обучать на низкокачественных данных — например, кликбейтах или вирусных постах из соцсетей — то они начинают деградировать. Это как если бы мы с вами слишком много думскролили, теряя внимание и фокус.

Процесс был следующим: взяли модель Llama 3 8B Instruct и начали дообучать её на коротких популярных постах с кучей лайков, ретвитов и репостов. Тема — кликбейт и всякая ерунда. И вот результат: качество рассуждений модели упало с 74.9 до 57.2, а понимание длинных контекстов — с 84.4 до 52.3. К тому же у модели появились странные черты, вроде нарциссизма и психопатии 🤨

Суть в том, что тут не столько магия, сколько смещение статистики. Модели ИИ, как и мы, адаптируются к тому, что они «видят». Если они обучаются на коротких, эмоционально окрашенных сообщениях, они начинают фокусироваться на последних нескольких словах, а не на всей логической цепочке. Это приводит к потере способности к долгим рассуждениям, и называется это «thought-skipping» — думать поверхностно, без глубины.

От того, на чем модель обучается, зависит, насколько «умной» она будет. А нам с вами, похоже, нужно меньше листать рилсы и больше думать.

Data Science