Недавно наткнулся на несколько исследований про over-reliance (чрезмерную зависимость) на AI, и хочу поделиться своим взглядом на эту тему, потому что она в последнее время активно обсуждается, но часто с неправильным углом.

Типичная позиция звучит так, что люди слишком доверяют AI, перестают думать сами, деградируют как специалисты. В этом есть доля правды, но я думаю, что сама постановка вопроса немного неверная.
Over-reliance - это не проблема использования AI, это проблема отсутствия понимания того, как AI принимает решения и где он ошибается.

Приведу пример из тестирования. Если тестировщик принимает все тест-кейсы, которые сгенерировал AI агент, без проверки - это over-reliance, но не потому что он использует AI, а потому что он не понимает, что агент оптимизирует под паттерны и систематически пропускает edge cases, которые в этих данных не встречались. Как только ты это понимаешь, ты начинаешь проверять именно эти места, и AI из источника риска превращается в инструмент, который реально ускоряет работу.

Поэтому мой взгляд такой, что да, over-reliance - это реальная проблема, но решается она не ограничением использования AI, а повышением экспертизы у тех, кто с ним работает. Нужно понимать не только как использовать инструмент, но и где он врет, где галлюцинирует, где уверенно ошибается.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)