Природа тоже занимается оптимизацией нейросетей с помощью прунинга 😳
Природа оказалась тем еще ленивым программистом: выяснилось, что наш мозг использует ровно те же костыли для оптимизации, что и дата-сайентисты. Австрийские нейробиологи внезапно открыли, что биологические нейросети занимаются "прунингом" - безжалостно удаляют лишние связи для экономии энергии. А ведь раньше наука свято верила, что мы рождаемся с чистым листом и по мере взросления лишь бережно выстраиваем новые синапсы.
Реальность оказалась куда прозаичнее. Мышь (да и человек) рождается с абсолютным хаосом в голове, нейроны связаны как попало и истерично реагируют на любой раздражитель, напоминая спагетти-код неопытного джуниора. Но по мере взросления мозг в области гиппокампа (конкретно в зоне CA3, которая отвечает за память и ассоциации) начинает агрессивно вычищать мусор. Лишние отростки-аксоны обрезаются, и нейросеть становится строгой, избирательной и потрясающе энергоэффективной.
🥸 Новости IT: 📱 Telegram | 📱 ВК | 📲 MAX
Post #11280
977

- ❤ 7
- 👍 4
- 🔥 1