👉 Может ли модель машинного обучения быть «неправильно правой»

Да — и это довольно опасный случай. Модель может выдавать правильный результат, но по неправильной причине.

Примеры:
— Классическая история: модель для распознавания танков «научилась» отличать их от леса, но не по форме техники — а по погоде (все фото с танками были при пасмурной погоде, а без — в солнечную).
— Модель предсказывает болезнь, но оказывается, что она просто запомнила, в каких больницах делались анализы, а не сами медицинские показатели.

Это называется «shortcut learning» — когда модель ищет кратчайший путь к правильному ответу, даже если он бессмыслен с точки зрения задачи.

Почему это плохо:
— Модель может работать «правильно» на тесте, но провалиться в реальной жизни, когда нарушатся скрытые зависимости.
— В критичных сферах (медицина, право, финансы) это может привести к опасным решениям.

Библиотека собеса по Data Science