🟥 Machine Learning Team Lead
📢 Рассказываю о жизни в IT в целом и о machine learning в частности
🤖 Генератор контента для обучения AGI
✉️ лс тут: @Maxim_ML
Post #56
514
Забыть всё: что происходит, когда нейросеть теряет свои навыки
Все вокруг обучают нейронные сети, а я решил пойти против течения. Что если вместо улучшения модели заставить её терять знания? 💡
На выходных я решил поиграть с диффузионными моделями, проводя эксперимент по “забыванию”. Идея не новая — я видел подобное в 2019 году, и именно та публикация вдохновила меня на изучение компьютерного зрения.
Как работает “забывание”?
Чтобы что-то забыть, нужно сначала это выучить. Нейросети обучаются настройкой миллионов весов через обратное распространение ошибки.
Забывание я реализовал через изменение этих весов:
🔵Замена весов на нули
🔵Присвоение случайных значений
🔵Изменение согласно определённому распределению
Что получилось?
С каждой итерацией всё больше весов меняется, и модель постепенно “забывает” всё, чему научилась.
Результаты получились одновременно забавными и жуткими — как цифровая форма амнезии. Сначала изображения теряют детали, затем появляются странные артефакты, а в конце модель выдаёт полную абстракцию.
#ai_creativity@ml_maxim
P.S. В комментариях есть примеры "не для слабонервных" 💀
Все вокруг обучают нейронные сети, а я решил пойти против течения. Что если вместо улучшения модели заставить её терять знания? 💡
На выходных я решил поиграть с диффузионными моделями, проводя эксперимент по “забыванию”. Идея не новая — я видел подобное в 2019 году, и именно та публикация вдохновила меня на изучение компьютерного зрения.
Как работает “забывание”?
Чтобы что-то забыть, нужно сначала это выучить. Нейросети обучаются настройкой миллионов весов через обратное распространение ошибки.
Забывание я реализовал через изменение этих весов:
🔵Замена весов на нули
🔵Присвоение случайных значений
🔵Изменение согласно определённому распределению
Что получилось?
С каждой итерацией всё больше весов меняется, и модель постепенно “забывает” всё, чему научилась.
Результаты получились одновременно забавными и жуткими — как цифровая форма амнезии. Сначала изображения теряют детали, затем появляются странные артефакты, а в конце модель выдаёт полную абстракцию.
#ai_creativity@ml_maxim
P.S. В комментариях есть примеры "не для слабонервных" 💀
- 🔥 5
- ❤ 1









