В России может появиться бенчмарк для ИИ — набор тестов, который будет проверять нейросети на соответствие «духовно-нравственным ценностям». С такой инициативой «Яндекс» выступил на совещании рабочей группы по регулированию ИИ.
«Яндекс» предлагает создать датасет — набор заданий с эталонными ответами, чтобы оценивать, насколько модель соответствует «духу времени и ценностям страны». Тесты будут проверять не абстрактные знания, а способность решать реальные задачи: выгружать данные, собирать отчёты и т.д.
ФСБ настаивает на закрытом формате: чтобы разработчики не могли заранее «натаскать» модели на правильные ответы. Бизнес же выступает за публичный бенчмарк: закрытый формат сделает тестирование слишком сложным и замедлит развитие моделей.
Компромисс — комбинированный подход: открытый бенчмарк для предварительной проверки в лабораториях, закрытый — для финальной аттестации с теми же темами, но другими формулировками.
Пока неясно, кто будет определять содержание: IT-сообщество предлагает создать совместную комиссию с участием властей, бизнеса и экспертов, чтобы бенчмарк был сбалансированным.
📱 Про операторов
Мы в Telegram | Мы в МАКС'e