«Коммерсантъ» рассказал о новой инициативе в сфере регулирования ИИ в России.
📎На совещании рабочей группы по регулированию ИИ при Минцифры обсуждалась концепция национального датасета — набора тестовых заданий для проверки того, насколько модели соответствуют «духу времени и ценностям страны».
Есть информация, что участники обсуждения расходятся в оценке того, кто именно выступил инициатором концепции.
Главная интрига — открытость или закрытость тестов:
❌ФСБ настаивает на закрытом формате, поскольку иначе разработчики просто «настроят» модель на прохождение тестов;
✅У бизнеса иное мнение: закрытый формат усложнит и замедлит разработку;
💫По результатам обсуждений в качестве компромисса был предложен гибридный формат: открытый бенчмарк для предварительной проверки в лабораториях плюс закрытый с похожими, но переформулированными вопросами для финальной оценки.
Открытым остаётся вопрос о том, кто будет формировать содержание бенчмарка. ИТ-отрасль предлагает создать совместную комиссию из власти, бизнеса и экспертов.
❕Наш эксперт Алексей Борщов обращает внимание на ключевой риск закрытого формата:
Закрытые эталонные ответы — обязательное условие безопасности модели, поскольку любой публичный бенчмарк рано или поздно «ломается» даже простым скриптом. Но есть и обратная сторона: если разработчик вообще не знает, какие категории проверяются, в каких пропорциях и с какими порогами, то тестирование превращается в лотерею.
Это, по сути, и есть развилка всей дискуссии: между защитой от «читерства» и предсказуемостью процесса для разработчиков.
После выхода заметки «Яндекс» опроверг, что именно он представлял концепцию датасета — компания лишь участвовала в обсуждении и выступает за то, чтобы содержание датасета было открытым по общепринятым отраслевым принципам.
⭕️ Сейчас проект пока на стадии концепции и окончательных решений по формату, содержанию, а также степени публичности тестов еще нет.
👉 Подробнее в материале
А вы что скажете по этому вопросу?
❕Telegram | MAX | ВК