Что не так с тестами на культурную принадлежность

Недавно канал «Психология эмиграции» запостил популярный тест, который показывает, на жителя какой страны вы похожи культурно и ценностно. В комментариях обсуждали, насколько тесту вообще можно доверять. Дело в том, что он часто выдавал страну, с которой респондент никак себя не ассоциирует, и это вызвало споры.

Тест вирусится уже не в первый раз, поэтому я решила разобраться в том, как работают такие инструменты и насколько они справедливые.

Что лежит в основе теста The Cultura Compass

Тест опирается на исследование World Values Survey (WVS). Это огромный многолетний проект, который изучает ценности людей по всему миру.

WVS поражает своим масштабом и стандартами сбора данных:

🔜Проект длится с 1981 года. За это время провели уже 7 раундов исследований, что позволяет судить о мировоззрении людей в динамике.

🔜В последнем раунде было опрошено почти 100 тысяч человек из 90 разных стран. Опросы проходили не только в крупнейших городах, но и в регионах.

🔜Для исследования используют не анкету, а жестко регламентированное личное интервью на местном или родном языке респондента. Это делает ответы более достоверными и помогает убедиться, что человек правильно понял вопрос.

🔜Опросник включает в себя 80 вопросов, которые помогают выделить ключевые жизненные ценности респондента. Если учитывать подвопросы, получится целых 258 пунктов. Спрашивают про семью, работу, отношение к окружающим, политике, религии и многое другое.

🔜По итогам всех интервью исследователи составляют ценностные карты различных обществ — так называемые диаграммы Инглхарта. Они позволяют социологам, политикам, журналистам и другим профессионалам сравнивать страны между собой.

Значит, тесту можно доверять?

Создатели объясняют, что обучили нейронную сеть на данных World Values Survey и создали упрощенный тест, включив в него часть вопросов из оригинальной анкеты.

Я не эксперт в нейронных сетях, поэтому не могу говорить об эффективности модели. Но как специалист по межкультурной коммуникации вижу несколько проблем:

🔵Из 258 вопросов оригинальной анкеты в тест попали 18, часть из которых содержит не все варианты ответов. Предполагается, что комбинации ответов именно на эти вопросы наиболее важны для результата. Хотя на сайте есть довольно большой раздел с объяснением модели, разработчики не сказали о главном: насколько пострадала точность теста после того, как из него убрали большую часть вопросов.

🔵Тест переведен на русский с довольно субъективным переложением англоязычных вопросов. Для других языков доступен машинный перевод. Как я уже говорила, исследователи WVS следуют четкому протоколу интервью и комментируют каждый пункт, чтобы снизить шанс недопонимания. Здесь же суть вопросов теряется за счет перевода.

🔵Команда разработчиков создает сайты, продвигает цифровые продукты и делает веб-дизайн. Скорее всего, тест сделали для промоушена и достоверность не была основным приоритетом.

🔵О субъективном: я получила 80% совпадения с жителями США, хотя по всей известной мне статистике мои ценностные ориентиры гораздо ближе к скандинавским странам. Я оказалась тем самым примером, на котором тест не сработал.

Вывод:

🟢 Тест основан на классном качественном исследовании,
🚫 которое было сильно упрощено для удобства. Насколько из-за этого снизилась точность теста, разработчики не уточняют. Поэтому я бы не стала полагаться на него всерьез.

Увы, онлайн-тесты на культурные ценности в целом ненадежны. Авторы стремятся делать их удобными и простыми для пользователей, но для этого приходится серьезно упрощать данные, которые лежат в основе культурных особенностей, и в результате тесту уже с трудом можно верить.

Чтобы реально понять, насколько ваши выборы соответствуют ответам людей из той или иной культуры, придется основательно покопаться в профильной литературе и пообщаться с большим количеством местных.

Как вы относитесь к онлайн-тестам? Расскажите в комментариях, что вы думаете по этому поводу. Какую страну тест выдал вам?

@mezhkulturno