Как связан гроккинг моделей с теорией эволюции 🤯

Читаю очередную статью про гроккинг – это когда нейросетку очень очень очень долго учат, а она учится, да все не генерализируется. То Это значит, что на тех примерах, на которых она училась, она нормально отвечает, а на новых такая 🤪
Типа, 2+2=4 она знает, потому что запомнила, а 6+7 - не знает, говорит, 3 будет.

Ну и вдруг случается магия (тот самый гроккинг), и она понимает реальные правила арифметики. После этого мир уже не будет прежним, она сможет складывать любые числа.

Понял, что это супер похоже на то, что я писал в посте про глобальные эволюционные скачки и аналогию, как изменения случаются в жизни.

Получается, что там что там, мы много относительно хаотично дергаемся, пока что-то не щелкнет. И вот, супер простые правила усвоены и назад дороги нет