Недавно в Scientific Reports вышла статья с довольно провокационным названием - Rethinking psychometrics through LLMs: how item semantics shape measurement and prediction in psychological questionnaires (“Переосмысление психометрики с помощью больших языковых моделей: как семантика утверждений формирует измерение и прогнозирование в психологических опросниках”) (Ravenda et al., 2025).

Авторы задаются вопросом: в какой степени структура, которую мы обнаруживаем в ответах на психологический опросник, отражает структуру психологического феномена, а в какой - семантическую структуру самих утверждений?

Логика простая. Разрабатывая опросник, мы намеренно создаём утверждения, содержательно связанные друг с другом. Утверждения о тревоге похожи по смыслу на другие утверждения о тревоге, утверждения о депрессии - на другие утверждения о депрессии и т. д. Потом мы собираем данные, обнаруживаем корреляции между ответами и на основании этих корреляций строим факторную модель.

Но что, если часть обнаруживаемой нами корреляционной структуры уже содержится в формулировках утверждений - до того, как мы опросили хотя бы одного человека? Авторы провели три исследования, чтобы показать роль семантики в структуре данных. Подробнее о работе, а также о моем мнении относительно ее “новизны” читайте здесь.