Что там у NIST: опубликованы новый проект стандарта и фреймворк

Давно мы не видели новых документов от Национального института стандартов и технологий США (NIST) при нынешней администрации, но теперь у нас появились первые проекты новых рекомендательных документов.

NIST AI 300-1 ipd "Guidance and Templates for Public-Facing AI Documentation"

Документ содержит в себе примерные шаблоны публичной документации для наборов данных и моделей. Отдельно отмечу, что в последнем случае речь действительно только про модели. Системы ИИ намеренно были исключены: NIST счёл практики документирования на уровне систем ещё недостаточно зрелыми. Поля в обоих шаблонах разделены на три категории: обязательные, рекомендуемые и необязательные. Обязательными при этом оказываются фактически только поля, идентифицирующие наборы данных и модели. В приложении А состав полей расписан более подробно. Часть из них становится обязательной при конкретных условиях. Например, нужно указывать лицензию, если набор данных или модель доступны лицам за пределами организации-разработчика.

Важно отметить, что данный документ пока находится на стадии обсуждения, замечания принимаются до 16 сентября. Однако даже в случае публикации финальной версии он будет лишь рекомендательным, а сам документ будет направлен в комитет ISO/IEC JTC 1/SC 42 для дальнейшего обсуждения в рамках общей процедуры (то есть не факт, что он вообще станет международным стандартом в итоге). Несмотря на это, документ стоит посмотреть, вдруг увидите что-то полезное для работы. Тем более что сам документ позволяет любому заинтересованному лицу разработать собственный профиль.

NIST AI 200-2 ipd "The TEVV-Athlon Framework for Evaluating AI Systems"

Данный документ представляет собой фреймворк по оценке систем ИИ, который предполагает реализацию функции Measure в NIST AI RMF. Сам по себе фреймворк достаточно общий и состоит из четырёх стадий (сформулировать и организовать, определить и построить, применить и измерить, обобщить и проверить). Наиболее интересными могут быть приложения, которые содержат перечень эталонных тестов, а также методики состязательного тестирования, тестирования с участием пользователей и проведения полевых испытаний. Замечания принимаются до 6 октября. Кстати, слово athlon в названии было взято из спорта, так как авторы хотели реализовать тестирование систем ИИ в формате многоборья.

Отдельно отмечу, что в августе NIST запустил новую программу по независимой оценке моделей на площадке AITE. Модели проверяют в изолированной среде на закрытых наборах данных, чтобы избежать попадание данных, которые модель уже видела при обучении. Первые три задачи связаны с анализом изображений визуально-языковыми моделями в квантовой физике, геномике и сфере общественной безопасности. Участие добровольное, нейтральная третья сторона здесь сам NIST, он же обещает публиковать результаты.