🖼📖🎧 Один из неочевидных, но важных параметров нейросетей — это их способность понимать культурный код. Что это за код такой, как измерить его понимание и почему это важно? Сейчас объясним.

Что такое культурный код?

Мышления разных культур имеют отличительные черты: отсылки, поговорки, обычаи, символы, нормы и т. д. Если задать один и тот же вопрос россиянину, британцу и египтянину, ответы часто будут разниться. То же самое и с нейросетями: в зависимости от культурных факторов они отвечают по-разному.

Из чего состоит культурный код?

— Литература: цитаты из прозы и поэзии, сюжеты книг.

— Медиа: цитаты из кино, сериалов и музыки, сюжеты фильмов, особенности ТВ и радио.

— Язык: сленг, мемы, пословицы и фразеологизмы, разговорный язык.

— Социальное: традиции, приметы, цитаты знаменитостей, народные кухня, медицина и быт.

Как замеряют знания культурного кода?

Разработчики из Яндекса тестировали YandexGPT на знание российского культурного кода. Они составили 2 000 вопросов разной сложности, чтобы проверить не только фактическое знание, но и глубинное понимание темы. Плюс их разбили на разные возрастные категории — ведь культурные коды 20-летнего и 60-летнего человека тоже отличаются. YandexGPT Pro 4 ответил верно на 63% — значит, он настолько хорошо знает культурный код России.

Как ещё исследуют знание нейросетей о разных культурах и обществах?

Исследования показывают, что разнообразие культурных символов (например, еды, музыки, одежды), которые LLM могут генерировать, коррелирует с тем, как часто эти культуры и темы упоминаются в данных для обучения. Из-за этого они генерируют больше культурных символов западных стран.

Ещё одно исследование от Anthropic показало, что нейросети, обученные преимущественно на англоязычных данных и американскими ИИ-тренерами, отвечают на вопросы по глобальным мировым проблемам ближе к жителям западных стран. Другой эксперимент показал, что если попросить нейросеть мыслить, как человек определённой нации, это скажется на выдаче, но не всегда так, как ожидается: иногда модель пытается подстроить свои ответы под западные стереотипы о выбранной нации.

Почему знание нейросетей о культурных особенностях важно?

Это напрямую влияет на их применимость и эффективность в разных регионах мира. Модель, обученная преимущественно на одной культуре, рискует упустить культурные нюансы или неверно интерпретировать местный контекст. Поэтому разработчики всё чаще уделяют внимание культурному разнообразию обучающих данных и тестируют свои модели на знание особенностей разных регионов.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь 👉 @techno_yandex