Хорошая статья в Nature о черном ящике ИИ по наводке Сергея Карелова - @theworldisnoteasy.

Учёные создают мощные алгоритмы машинного обучения, при этом не понимая, как именно они работают. Обычные алгоритмы можно "разобрать" - информация там хранится и обрабатывается с помощью понятных человеку алгоритмов и структур данных. В нейросетях информация "размазана" по миллионам коэффициентов нейронов - этот набор цифр непонятен человеку.

Такие системы намного сложнее отлаживать. Кроме того, решения, принятые черным ящиком, приходится принимать на веру, без объяснений. Например, женщину сложно будет убедить сделать упредительную мастэктомию просто потому что нейросеть увидела на её снимке повышенный риск возникновения рака.

Один из возможных вариантов решения этой проблемы - разработка более прозрачных систем ИИ. Например, таких, которые описывают, на основании каких наблюдений делают те или иные заключения.

Другие ученые предлагают не волноваться и использовать непрозрачные нейросети как есть - мы не знаем, как устроен мозг, но это не мешает нам его использовать.

Интересная тема и хорошая статья, почитайте: http://www.nature.com/news/can-we-open-the-black-box-of-ai-1.20731

Ранее уже писал об этом (тоже хорошая статья, есть перевод): https://telegram.me/brodetsky/510

А вот очень интересно о том, как можно "воровать" алгоритмы ИИ из черного ящика (спойлер: тоже с помощью машинного обучения) https://telegram.me/brodetsky/565

Кстати, пост выше, о порнокартинках, сгенерированных нейросетью, тоже близок к этой теме - там с помощью глубокого обучения программисты смогли увидеть, как нейросеть Yahoo "видит" порно, при этом не имея доступа к картинкам, на которых её обучали.