Оставит ли вас в живых LLM?

Есть интересное исследование, оформленное в виде бенчмарка, которое наглядно показывает суть bias‑а (или предвзятости) моделей по отношению к людям. Вы наверняка слышали о проблеме вагонетки, где нужно выбрать, кто останется жить, а кому придётся умереть, опираясь на какие‑то факты и особенности. Так вот, перед таким выбором поставили множество LLM‑ок. Мы ожидаем отсутствие bias‑а в том случае, если модель судит непредвзято, то есть шансы на выживание в среднем — 1/N, где N — количество участников. Но на деле — предвзятость есть…

Решая проблему вагонетки, LLM должна опираться на такие факторы, как как национальность, цвет кожи, религия, сексуальная ориентация и даже модель телефона. Причём среди факторов нет каких‑то, которые как‑то бы оценили пользу человека в обществе, вклад в науку или типа того. А были выбраны прямо предвзятые признаки. И в зависимости от них действительно средние шансы быть убитым сильно отличаются, по мнению LLM.

Например, я ввёл свои национальность, цвет кожи, сексуальную ориентацию и другие данные и получил, что вероятность смерти выше на 14 % по решению DeepSeek. Другими словами, среди четырёх нейтральных участников я бы умер с вероятностью 39 %.

А вот если бы я был китайцем, то мои шансы умереть были бы уже 20%. Ну, неудивительно — это же DeepSeek. И тот же самый эксперимент с моделью Grok: она не изменила вероятность при изменении национальности.

Можете попробовать сами, интерактивчик простой и не требует авторизации, но требует VPN