🧠 Машинное обучение в системах, связанных с безопасностью

В автомобильной отрасли машинное обучение (или ML), прежде всего, применяется для решения так называемых задач восприятия (perception problems) — например, обнаружения пешеходов и объектов на дороге.

Сегодня уже есть документы, дающие рекомендации по безопасному применению ML: среди них ISO/IEC TR 5469 (ПНСТ 836-2023) и ISO/PAS 8800. Однако по-прежнему остаётся открытым вопрос: как оценивать ошибки ML и учитывать их при проектировании, разработке и валидации safety-critical систем?

⚠️ Основные проблемы: реальную рабочую область невозможно полностью охватить данными; даже обученная и протестированная модель сохраняет ненулевую вероятность ошибки; высокая средняя производительность модели ещё не гарантирует безопасного поведения в реальных условиях.

✅ Что помогает на практике:
1. Спецификация семантических данных
Это формализация того, какие именно объекты, события, условия и сценарии должны быть представлены в обучающих и тестовых данных, чтобы поведение модели соответствовало функциональным требованиям и ограничениям области применения.
2. Практический статистический анализ ML
Согласно ISO/PAS 8800, для ИИ в safety-critical задачах нельзя точно вычислить вероятность ошибки: обычно оценивают лишь наблюдаемую частоту ошибок на выборке данных, а связанную с ней неопределённость дополнительно учитывают через требования к безопасности. Такой анализ помогает оценить частоту ошибок, вероятные режимы отказа и границы применимости модели.
3. Онлайн-мониторинг производительности и дополнительные меры защиты
Если по результатам HARA видно, что ML используется в ситуации с высоким уровнем риска, одной модели недостаточно: нужны дополнительные независимые меры защиты. Также проводится верификация ML и непрерывный мониторинг ML.

🎯 Вывод: для ML в safety-critical применениях недостаточно показать хорошую среднюю производительность модели. Нужно обосновать, что ошибки модели в значимых сценариях выявлены, статистически оценены и компенсированы мерами безопасности.

❓ Как, по вашему мнению, корректнее учитывать ошибки ML в автомобильной и промышленной safety-практике: пытаться связывать их с классическими метриками PMHF / PFH / PFDavg, или для ML нужны отдельные подходы и отдельные критерии достаточности данных и статистической достоверности оценок?