Забыть всё: что происходит, когда нейросеть теряет свои навыки

Все вокруг обучают нейронные сети, а я решил пойти против течения. Что если вместо улучшения модели заставить её терять знания? 💡

На выходных я решил поиграть с диффузионными моделями, проводя эксперимент по “забыванию”. Идея не новая — я видел подобное в 2019 году, и именно та публикация вдохновила меня на изучение компьютерного зрения.

Как работает “забывание”?
Чтобы что-то забыть, нужно сначала это выучить. Нейросети обучаются настройкой миллионов весов через обратное распространение ошибки.
Забывание я реализовал через изменение этих весов:
🔵Замена весов на нули
🔵Присвоение случайных значений
🔵Изменение согласно определённому распределению

Что получилось?
С каждой итерацией всё больше весов меняется, и модель постепенно “забывает” всё, чему научилась.

Результаты получились одновременно забавными и жуткими — как цифровая форма амнезии. Сначала изображения теряют детали, затем появляются странные артефакты, а в конце модель выдаёт полную абстракцию.

#ai_creativity@ml_maxim

P.S. В комментариях есть примеры "не для слабонервных" 💀