В этом есть определённая ценность (продолжение)

Силу индексов проверим, но не сразу.

Хочется не просто взять их "как есть", но и иметь возможность расширить выборку за счёт тех людей, ценностный портрет которых мне более-менее понятен. Не потому, что выборки маленькие. А потому, чтобы было на что равняться. Тогда особенности и явные косяки видны сразу.

Но расcчитать индексы самостоятельно оказалось не так просто!

Во-первых, переход от вопросов к индексам оказался достаточно сложным. Там сначала считается 6 промежуточных индексов, а на их основе - два финальных. В расчёте индексов активно используются magic-константы вроде 1.36 и 0.63, смысл которых не объясняется.

Во-вторых, итоговые веса коэффициентов неизвестны! Их каждый раз заново делает программа Statista. Алгоритм там детерминированный, то есть у всех на одних и тех же исходных данных должны получиться одни и те же коэффициенты, но какие - заранее неизвестно.

В-третьих, коды вопросов, от которых зависят индексы в методологии... устарели! Как минимум с пятой волны (2005-2009) вопросы в исходных данных кодируются не по той системе, что указана в документации.

Учёные с мировым именем, уважаемая организация, свои стандарты. Вроде нехорошо в чужой монастырь лезть со своим уставом. Но воспроизводимость индексов как минимум трудоёмкая.

Как быть? Я посмотрел, что нигде в методологии не используется ничего сложнее линейных методов. А линейные методы очень устойчивы к линейным преобразованиям 😎

Я просто взял датасет, обучил модель простейшей линейной регрессии по ответам предсказывать значения индексов. Очень быстро получил точность в 92%, которая меня вполне устроила. Вывел веса модели, и по ним нашёл 7 ключевых вопросов для каждого индекса!

Причём заняло это времени значительно меньше, чем предварительный разбор документации. Сколько пришлось бы потратить на полное воспроизведение авторского алгоритма, сказать сложно.

Ну вот почему так происходит?