Снова старая добрая нейроэволюция! Один из соавторов, кстати, соавтор той книги.

Continual Reinforcement Learning with Neuroevolution
Eleni Nisioti, Andrea Cossu, Kathrin Korte, Sebastian Risi
Paper: https://arxiv.org/abs/2610.01583
Review: https://arxiviq.substack.com/p/continual-reinforcement-learning
Code: https://github.com/eleninisioti/continual_neuroevolution

ЧТО сделали: Исследовали нейроэволюцию для непрерывного обучения с подкреплением (continual RL) в меняющихся средах без явных границ между задачами. Авторы сравнили эволюционные стратегии (ES) и генетические алгоритмы (GA) с алгоритмом PPO, тремя его модификациями для непрерывного RL и популяционным RL на бенчмарках от классического управления до задач со зрением.

ЧТО получили: ES обеспечили лучший баланс между сохранением старых навыков и освоением новых, превзойдя все RL-бейзлайны в 8 из 18 условий. Градиентные методы не выиграли нигде. GA показали наивысшую точность обучения в 10 из 18 условий, решив задачи, где градиентные алгоритмы терпели неудачу. По замерам авторов, ES находят окрестности в пространстве весов в 3.9 раза шире по сравнению с PPO, а размер общей для задач окрестности предсказывает сохранение навыков (p = 5x10^-5).

ПОЧЕМУ это важно: Результаты показывают, что спящие нейроны и дрейф весов вызваны градиентной оптимизацией, а не самой нестационарностью среды. Однако нейроэволюция требует много сэмплов и с трудом сходится на узких пиках функции вознаграждения.

Нейроэволюционировать тут: https://t.me/gonzo_ML_podcasts/4821