🤔 Как делается прунинг деревьев?

Прунинг деревьев (или обрезка деревьев решений) — это процесс удаления ненужных ветвей в дереве, чтобы упростить модель и предотвратить переобучение. Обычно это делается путем удаления или сокращения узлов, которые добавляют мало полезной информации, что уменьшает сложность дерева без значительных потерь в точности. Существует несколько методов прунинга, включая предобрезку (pruning during tree construction) и постобрезку (pruning after tree construction), которые помогают сбалансировать общее количество узлов и глубину дерева, улучшая его обобщающую способность.

🚩До обрезки (Pre-pruning)

До обрезки включает остановку роста дерева раньше, чем оно полностью обучится. В процессе построения дерева принимаются решения о прекращении роста текущей ветви, если выполнение одного из критериев остановки.
Максимальная глубина дерева (max depth)
Останавливает рост дерева, если оно достигает определенной глубины.
Минимальное количество образцов в листе (min samples leaf)
Останавливает рост дерева, если в узле меньше определенного количества образцов.
Минимальное количество образцов для разбиения (min samples split)
Останавливает рост дерева, если меньше определенного количества образцов в узле для разбиения.
Минимальная информационная выгода (min impurity decrease)
Останавливает рост дерева, если уменьшение неопределенности после разбиения меньше определенного порога.

🚩После обрезки (Post-pruning)

После обрезки включает создание полного дерева и затем удаление некоторых его ветвей. Этот метод часто считается более эффективным, так как позволяет создать дерево с максимальной сложностью и затем упрощать его

🟠Обрезка на основе ошибки на валидационном наборе
Дерево сначала обучается до полной глубины, а затем на валидационном наборе данных удаляются ветви, которые увеличивают ошибку.
🟠Обрезка на основе критерия минимальной ошибки (cost complexity pruning)
Включает расчет ошибки для каждого поддерева и удаление тех, которые увеличивают общую ошибку меньше всего.

🚩Пример обрезки деревьев

До обрезки

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# Загрузка данных
data = load_iris()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42)

# Модель с параметрами до обрезки
model_pre_pruning = DecisionTreeClassifier(max_depth=3, min_samples_split=4, min_samples_leaf=2)
model_pre_pruning.fit(X_train, y_train)

# Оценка модели
print(f"Точность на тестовом наборе (до обрезки): {model_pre_pruning.score(X_test, y_test)}")

После обрезки

from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

# Создание и обучение дерева без обрезки
model = DecisionTreeClassifier()
model.fit(X_train, y_train)

# Построение полного дерева
plt.figure(figsize=(20,10))
plot_tree(model, filled=True)
plt.show()

# Применение после обрезки с помощью параметра cost_complexity_pruning
path = model.cost_complexity_pruning_path(X_train, y_train)
ccp_alphas, impurities = path.ccp_alphas, path.impurities

# Обучение моделей для каждого значения alpha
models = []
for ccp_alpha in ccp_alphas:
    model = DecisionTreeClassifier(ccp_alpha=ccp_alpha)
    model.fit(X_train, y_train)
    models.append(model)

# Выбор лучшей модели на основе валидационного набора
best_model = None
best_score = 0
for model in models:
    score = model.score(X_test, y_test)
    if score > best_score:
        best_model = model
        best_score = score

# Оценка лучшей модели
print(f"Точность на тестовом наборе (после обрезки): {best_score}")

Ставь 👍 и забирай 📚 Базу знаний