Прогнозируем не только значение, но и его разброс: гетероскедастичная регрессия остатков для GBDTКаждый, кто хоть раз выкатывал GBDT в production для ценообразования или risk scoring, знает: метрики горят, но доверять каждому предсказанию вслепую нельзя. Ошибка в 10% для дешёвого товара — копейки, для дорогого — минус маржа. Квантильная регрессия с CQR усложняет пайплайн и плохо калибруется. Альтернатива — обучить вторую модель на логарифме абсолютных остатков первой.
Сценарий простой: предсказываем среднее, а затем — дисперсию ошибки. На инференсе — два predict и один exp. Никакого сэмплирования или байесовских сеток.
Как это реализоватьСобираете остатки:
residuals = |y_pred - y_true| + 1e-8. Затем на тех же признаках учите модель для
log(residuals). На выходе получаете
sigma = exp(model_var.predict(X)).
residuals = np.abs(y_train - model_mean.predict(X_train)) + 1e-8
model_var = LGBMRegressor(n_estimators=80)
model_var.fit(X_train, np.log(residuals))
def predict_with_uncertainty(X):
y = model_mean.predict(X)
sigma = np.exp(model_var.predict(X))
return y, sigma
Почему это затащило в productionПервое — интерпретируемость без SHAP. Модель остатков сразу показывает, где основная модель ошибается: "на товарах с высокой ценой разброс выше". Это даёт инженерный контекст для валидации.
Второе — простота деплоя. Два predict и один exp — всё. Никаких байесовских сеток или сложных loss-функций. Надёжно и быстро.
Третье — калибровка под данные. Модель остатков учится на реальных ошибках первой, а не на теоретическом распределении. Это даёт адекватные оценки uncertainty для конкретного датасета.
Типичные грабли и trade-offsВторая модель легко переобучается. Я режу
num_leaves, увеличиваю
min_data_in_leaf и обязательно валидирую отдельный холдаут. Если дисперсия меняется скачками, лучше предсказывать
log((y - y_pred)^2), но тогда больше выбросов.
Метод не учитывает асимметрию распределения остатков. Если модель системно ошибается в одну сторону,
sigma будет завышена. На малых выборках вторая модель может просто выучить шум — тут помогает кросс-валидация на уровне остатков.
Для медицины или финансов я бы добавил конформное предсказание поверх — как контрольный выстрел. Это повышает надёжность, но добавляет latency.
Вывод: Двухуровневая модель GBDT — простой кирпичик для production, который даёт не только answer, но и confidence, без байеса и лишней магии.
![Data Science | Machinelearning [ru]](https://cdn4.telesco.pe/file/H8bPR1dav561k_0cAdohYsHAxVxPnIiq9BsyeFdR_4TecvyvLMesS7LBjr2tQBn45YJdsBoJwOdGK8_Q6C_mLf7lYnRs6250mFTe9LT9r6MbvCm0cSnh8uTftvLyzpTr65QHESjpfhnhBtSsNKFHeby6g29rrATKoY52DvwTCVDbQomPf2FPN5Zry9SkHVxyfN3HTI-jwAgf74LVHuOZ6sARj2v8baR0IgwYo-lVuXVOCen8aQ4QVzlPs2SmX92P5-mc9POezV2Oo7FoF5T082Cw71nWF3Tx298S8p8ycZYmMdfp-uzRG9KOOz7MCNI8JxLp5irAMOk2I-0vcmCe7A.jpg)
