Очень красивый и любопытный проект: атлас активаций. Позволяет заглянуть внутрь нейросети и увидеть, как она распознаёт объекты.

Почему это важно? Потому что одно из слабых мест нейросетей — их непрозрачность. Они хорошо умеют классифицировать данные, но не умеют объяснять свои решения. Это может создавать проблемы. К примеру, банковский алгоритм, оценивающий риски, может отказать потенциальному клиенту в кредите без каких-либо объяснений. По закону банк обязан обосновывать такие решения. Так же сложно будет пациенту согласиться на операцию, если это совет без объяснений от алгоритма-черного ящика. А ещё черный ящик сложнее отладить.

Так вот, по ссылке можно посмотреть, что видит нейросеть во время распознавания различных образов. Есть над чем залипнуть.

Что ещё почитать по теме:
— Как открыть "черный ящик" ИИ
— Заглянуть внутрь генеративной нейросети
— Ещё одна красивая визуализация нейросети
— Как обмануть нейросеть, распознающую предметы:
— — с помощью поворота изображения;
— — с помощью нескольких пикселей;
— — с помощью 3D-принтера