🤔 Как сгенирировать распределение исходя из выборок?

Генерация распределения из выборок данных включает использование методов оценки плотности и генерации новых данных, которые соответствуют распределению исходных данных. Один из наиболее популярных методов — это использование оценки плотности ядра (KDE, Kernel Density Estimation). Также можно использовать другие методы, такие как метод исторгаммы или моделирование распределений с использованием параметрических подходов (например, нормальное распределение).

🚩Методы генерации распределения из выборок

🟠Оценка плотности ядра (KDE)
KDE сглаживает данные, чтобы создать непрерывное аппроксимированное распределение, основанное на данных выборки. Для реализации KDE можно использовать библиотеку scipy или seaborn.

🟠Гистограмма
Гистограмма разбивает данные на бины и оценивает плотность данных в каждом бине. Это простой способ оценки распределения данных.

🟠Параметрическое моделирование
Можно подогнать данные к известным распределениям (например, нормальное, экспоненциальное) и использовать параметры этого распределения для генерации новых данных.

🚩Примеры генерации распределения в Python

Использование KDE с библиотекой seaborn

import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Пример данных
data = np.random.normal(loc=0, scale=1, size=1000)

# Оценка плотности ядра (KDE)
sns.kdeplot(data, shade=True)
plt.title("Kernel Density Estimation (KDE)")
plt.show()

Использование KDE с библиотекой scipy

import numpy as np
from scipy.stats import gaussian_kde
import matplotlib.pyplot as plt

# Пример данных
data = np.random.normal(loc=0, scale=1, size=1000)

# Оценка плотности ядра (KDE)
kde = gaussian_kde(data)

# Создание новых данных на основе KDE
x = np.linspace(min(data), max(data), 1000)
kde_values = kde(x)

plt.plot(x, kde_values)
plt.title("Kernel Density Estimation (KDE)")
plt.show()

Генерация новых данных из KDE

# Генерация новых данных на основе оцененного распределения
new_samples = kde.resample(size=1000).T[0]

plt.hist(new_samples, bins=30, density=True, alpha=0.5, label='Generated Data')
sns.kdeplot(data, shade=True, label='Original Data')
plt.title("Generated Data vs Original Data")
plt.legend()
plt.show()

Параметрическое моделирование (нормальное распределение)

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm

# Пример данных
data = np.random.normal(loc=0, scale=1, size=1000)

# Оценка параметров нормального распределения
mu, std = norm.fit(data)

# Генерация новых данных
new_data = np.random.normal(loc=mu, scale=std, size=1000)

plt.hist(new_data, bins=30, density=True, alpha=0.5, label='Generated Data')
xmin, xmax = plt.xlim()
x = np.linspace(xmin, xmax, 100)
p = norm.pdf(x, mu, std)
plt.plot(x, p, 'k', linewidth=2, label='Fitted Distribution')
plt.title("Generated Data with Fitted Distribution")
plt.legend()
plt.show()

Ставь 👍 и забирай 📚 Базу знаний