Кто-нибудь, обучающий нейросети, когда-нибудь встречался с таким графиком loss? Когда он идет "ступенями"? Loss логируется как среднее на каждые 50 батчей и сбрасывается (обнуляется) после каждого логирования.

Я очень часто такое вижу в наших тренах, решил разобраться, почему так происходит. Вот лучшее объяснение, которое я смог найти, но оно все равно не полное:

https://www.fast.ai/posts/2023-09-04-learning-jumps/

Интересно узнать, сталкивался ли кто-то ещё с этим.