Как отличить важное исследование про LLM

Давайте обсудим, что отличает интересные новости про языковые модели от проходных. Отличие, помимо очевидных "насколько хорошо исследование проведено" и "насколько оно непредвзято" заключается в следующем: насколько результаты исследования отличаются от среднестатистического результата, который показали бы люди. Потому что модель и есть такой усреднённый человеческий опыт.

Когда мы видим невероятный ресёч, который говорит, что модель "в большинстве случаев спасла бы себя", но при этом "говорит что спасла бы других" — это не повод бить в набат, это наоборот, самый скучный вывод на свете: поведение модели идеально укладывается в формулу "усреднённый человеческий опыт".

Бить в набат надо, когда поведение модели в эту логику не укладывается.

(ничего не знаю про канал XOR, просто удобный пример для иллюстрации)