✈️Зачем вам Optuna: как автоматизировать настройку гиперпараметров
Настройка гиперпараметров ML-модели занимает много времени и сил. Упростить эту задачу можно с помощью специальных фреймворков, одним из которых является Optuna. Появившись в 2019 году, эта платформа отличается следующими достоинствами:
• совместимость с PyTorch, Chainer, TensorFlow, Keras, MXNet, Scikit-Learn, XGBoost, LightGBM и другими ML-фреймворками;
• работа на понятном DS-языке с использованием условных выражений, циклов и синтаксиса Python;
• способность обрабатывать непрерывные значения гиперпараметров, настраивая альфа- и лямбда-регуляризацию на любые значения с плавающей точкой в заданном диапазоне;
• использование байесовских алгоритмов подбора с возможностью удаления заведомо проигрышного пространства заданных гиперпараметров из анализа, чтобы ускорить оптимизацию;
• распараллеливание поиска гиперпараметров по нескольким потокам или процессам без изменения кода;
• работает быстрее аналогов (RandomSearch, GridSearch, hyperopt, scikit-optimize);
• подробная документация.
https://optuna.org/
https://habr.com/ru/post/563494/
https://towardsdatascience.com/kagglers-guide-to-lightgbm-hyperparameter-tuning-with-optuna-in-2021-ed048d9838b5