⚡️ В России разработали набор методик для оценки соответствия больших языковых моделей российским культурным кодам

Тестовый программный комплекс – бенчмарк, включающий в себя более 14 тыс. вопросов, получил название "SLAVA". С его помощью было проанализировано свыше 25 отечественных и зарубежных интеллектуальных систем. Большинство из них показало низкие результаты: ни одна не ответила в точности хотя бы на половину вопросов.

Бенчмарк был разработан РАНХиГС при президенте РФ совместно с Институтом системного программирования РАН. Он призван обезопасить пользователей в русскоязычном сегменте интернета, в первую очередь детей, от информации, искаженной языковыми моделями в результате несоответствия мировоззренческих подходов в разных культурах.

По мнению разработчиков, разночтения затрагивают многие ключевые темы, преимущественно в сфере политики и гуманитарных наук. Новый алгоритм может стать основой разработки технологий, которые обеспечат доверие к интеллектуальным помощникам.

🇷🇺 Национальный центр развития искусственного интеллекта при Правительстве РФ

#новостьдня