Седашов Евгений Александрович, доцент департамента политики и управления факультета социальных наук НИУ ВШЭ, академический руководитель образовательной программы «Вычислительные социальные науки» НИУ ВШЭ, PhD

➖ Два направления:

(1) применение ИИ в научных исследованиях;
(2) исследование самого ИИ.

➖ Мы провели кросс-страновое исследование о том, как большие языковые модели отвечают на вопросы о ценностях из опросника World values survey. Наблюдаются различия в поведении. Вопрос: насколько качественно они понимают респондентов из разных стран и дают за них ответы?

➖ Уровень доступа в интернет в стране влияет на то, как хорошо нейросеть понимает контекст страны — это нужно учитывать.

➖ Модерация в YandexGPT: на чувствительные темы разброс ответов минимален. Вывод: при чувствительных вопросах нужна модерация.

➖ Паттерн «человек-технологии»: характер взаимодействия с технологиями определяет ожидаемые различия в эффектах. Различия есть, но не радикальные.

➖ Тон ответов: ChatGPT чаще даёт более «либеральные» ответы, YandexGPT — более «консервативные».

Вопрос из аудитории:
➖ Можно ли доверять результатам работы LLM?
➖ Зависит от задачи. Для репликации выборок опросов — скорее нет, чем да. Зато такими методами удобно изучать поведение самих моделей. Для разметки постов в Telegram модели работают отлично.