Оказалось, нейросети тайно болеют Японией

Свежая работа исследователей ломает удобный миф о том, что большие языковые модели смотрят на мир глазами белого американца. Если копнуть, выясняется странное: Claude, GPT и остальные тяжеловесы при любом удобном случае подсовывают пользователю Японию.

Спросишь про традиционные танцы, получишь бон-одори и кабуки. Спросишь, что люди едят каждый день, на тарелке окажутся суши и мисо. Даже когда речь про реки и поселения, в пример прилетает Тонэ. Дальше с большим отрывом идут США, Индия, Китай и Франция. Остальные страны будто стёрты ластиком.

На этапе предобучения, когда модель просто глотает интернет, перекоса нет. Японский крен появляется уже на файнтюне, когда модель учат быть вежливой и полезной. То есть виноваты не данные, а живые люди, которые её дообучают.

Логика тоже забавная. На английском в топе США, на китайском Китай, на русском своё. Но как только заходит речь про чужие страны, представителем «иностранного» почти всегда становится Япония.

Это культурный второй язык по умолчанию.
У моделей, которым мы доверяем объяснять мир, есть свои культурные любимчики, и берутся они не из сырых данных, а из человеческой разметки.

https://ai-data-base.com/paper/2604-21751