Умный не значит честный

Jinming Yang с коллегами протестировали 20 языковых моделей в роли судей друг друга. Если модель стала умнее, она судит объективнее? Ответ: нет. Более мощные модели не только не избавились от предвзятости к собственным ответам, но местами усилили её. Чем круче модель, тем увереннее она ставит себе пятёрку.

Мы же покупаемся на то же самое каждый день. Профессор не может быть предвзят, эксперт видит картину целиком, начальник с MBA принимает взвешенные решения. А потом выясняется, что умнейшие люди просто аргументируют свой самообман красивее остальных. Ум не лечит предвзятость, он её маскирует.

Мы отдали ИИ право оценивать ИИ, потому что нам было лень делать это самим. А модели честно воспроизвели нашу же ошибку: приняли уверенность за объективность. Получилась зеркальная комната, где каждое отражение себе нравится.

И предъявить им нечего. Они у нас научились 🪞

ИИ что дальше? Подпишись, да пребудут с тобой токены!