🔍 Как выбрать дискретные значения гиперпараметров для Grid Search

Grid Search требует заранее задать набор значений для каждого гиперпараметра, поэтому важно сбалансировать ширину и глубину поиска.

Обычно значения выбираются на основе:
👉 Опытных предположений или предварительных экспериментов.
👉 Понимания масштаба параметра: например, для learning rate лучше использовать экспоненциальную шкалу (0.001, 0.01, 0.1), так как он сильно влияет на обучение.
👉 Стандартных шаблонов: число нейронов в слоях часто варьируют степенями двойки (64, 128, 256), чтобы не распыляться на мелкие изменения.

🙅‍♂️ Если задать слишком много значений, общее число комбинаций быстро растёт, и поиск становится дорогим. Слишком мало — можно пропустить хорошие настройки.

✔️ Поэтому обычно начинают с грубого поиска (coarse grid), а затем уточняют диапазоны вокруг лучших значений.

Библиотека собеса по Data Science