В этом есть определённая ценность (продолжение)

Теперь переходим к экспериментальной проверке индексов Инглхарта-Вельцеля.

1) Берём свежий датасет
2) Выкидываем из него всё, что не имеет непосредственного отношения к вопросам респондентов (даты опросов, уникальные ID, вспомогательные индексы)
3) Выкидываем вопросы, которые не связаны с ценностями (типа "Сколько вам лет" или "В какой стране родился ваш папа?")
4) Выкидываем вопросы, по которым строится индекс.
5) Поочерёдно обучаем семейство моделей линейной регрессии, в которых в качестве параметра есть только два индекса и больше ничего
6) В качестве цели ставим последовательно каждый из 356 оставшихся вопроса. То есть мы пытаемся предсказать ответы респондентов (и их систему ценностей) зная только их значения индексов.
7) В качестве метрик собираем основные метрики классификации (accuracy, precision, recall, f1).
8) Ну и дальше смотрим, что из этого получается.

А получается очень неплохо.
Есть группа метрик, где точность (и все остальные метрики) под 95%. Есть группа, где около 30%. По всем вопросам 42% вышло. Для двух чисел это очень неплохой результат на 356 вопросах! Понятно, что если добавить возраст, пол, страну, будет сильно лучше.

Для проверки проделал аналогичную серию прогнозов, только вместо 2 индексов, закинул в модель те 14 вопросов, на которых индекс строился. И получил точность 44,7% без потери по другим метрикам! То есть методология где-то по дороге съела почти 3% точности. Не мало!

В любом случае, это не просто очередные буквы и цифры. Это работает! И имеет очень неплохую предсказательную силу.