Картинка хорошо отражает текущий момент. Барт пишет: "i will not deploy on AI system without an impact assessment".

Внедряя ИИ мы не всегда можем знать, как он может быть применен. Есть уже классический пример, когда американский гигант Amazon пытался использовать ИИ для оценки кандидатов на ту или иную вакансию. Оказалось, что искусственный разум априори занижал оценку кандидатурам женщин, предлагал им более низкую зарплату и автоматически блокировал резюме афроамериканцев.

В итоге эксперимент был свернут, а аналитики начали разбираться, почему же ИИ делал такие выводы. Если очень просто - разработчики не учли, что алгоритму была поставлена задача подбирать лучших кандидатов, основываясь на статистических данных США. Статистика же говорит, что афроамериканцы чаще других совершают правонарушения, женщины уходят в декрет, а работодатели традиционно оценивают их труд дешевле мужского.

На основе этого алгоритм решил, что максимально эффективно будет не пытаться дать шанс условной афроженщине, а изначально её забраковывать, потому что это позволит эффективнее выполнять поставленную перед ИИ задачу.

Это хороший пример наличия bias (предвзятости) в выборке данных, на которых обучается ИИ и который пока сложно предусмотреть при внедрении