Рассказывал про работы Lesley в Ливерморском вычислительном центре про оптимизацию скорости обучения, размера батча и тд https://arxiv.org/abs/1803.09820 например. Работы старые 2018 года, Лесли придумал автоматический поиск скорости обучения и проч, но он:
1) Работал с SGD со ступенчатым отжигом
2) Считал сверточные сетки

т.е. его результаты не обязательно сработают у вас с Адамом и LLM