В Южной Корее запустили народный мониторинг ИИ-ошибок

Институт безопасности искусственного интеллекта при министерстве науки Южной Кореи запустил проект «Хранители ИИ-безопасности» — добровольцы будут находить и сообщать об ошибках генеративных ИИ-сервисов. Это первая в стране попытка выстроить систематический сбор реальных случаев сбоев ИИ силами обычных пользователей, а не только лабораторных специалистов.

Проект принимает сообщения по четырём направлениям: галлюцинации (выдуманные факты, даты, имена), предвзятость и дискриминация по полу, возрасту или национальности, уязвимости безопасности (джейлбрейк, утечка персональных данных) и технические сбои — петли повторяющихся ответов или форматные ошибки.

Отобрано около 30 участников. Каждый обязан передать не менее 30 задокументированных случаев за год с подробным описанием, скриншотами и инструкцией по воспроизведению. Проверенные сообщения оплачиваются баллами с последующей конвертацией в деньги.

Каждое поданное сообщение проходит трёхступенчатую проверку: специалисты оценивают точность, степень риска, воспроизводимость и практическую ценность случая. Только прошедшие все этапы фиксируются как подтверждённые и оплачиваются.

Собранные данные планируется использовать при разработке оценок рисков, рекомендаций по безопасности и улучшении самих ИИ-сервисов.

Представитель отрасли, опрошенный изданием, указал на принципиальное ограничение лабораторного тестирования: когда ИИ-агенты начнут самостоятельно совершать реальные действия, заранее обнаружить все риски в тестовой среде станет практически невозможно. Мониторинг со стороны живых пользователей в реальных сценариях использования закрывает этот пробел там, где стандартные бенчмарки бессильны.

Источник: ETNews AI (🇰🇷)

#генеративныйИИ #безопасность #регулирование