Почему модели тяготеют к правде?

Модель, это по факту большой компрессор, который в сохраняет информацию в своих весах при обучении. А какие данные хорошо компрессятся? Правильно, согласованные данные. Эзотерика, теории заговора и тупо ошибки плохо согласуются с общей картиной мира, поэтому, даже когда в обучающем датасете полно мусора (вплоть до 90%), модель все равно выучивает правду

Подробнее об этом написал мой коллега, Костя Крестников, в своем исследовании

П.С. Важный вывод, который делает Костя — "Координированная дезинформация для компрессора неотличима от правды"