В бенчмарках PostgreSQL важна не только итоговая цифра TPS. Важно понять, можно ли ей доверять: показывает ли тест реальную деградацию производительности или только шум измерений.

Команда Postgres Professional решала эту задачу через автоматизацию статистического анализа результатов бенчмарков.

Стандартных агрегатов вроде среднего и медианы оказалось недостаточно: данные могут распределяться неравномерно, содержать выбросы и распадаться на несколько мод из-за особенностей сценария, конфигурации или структуры данных.

В итоге ручной анализ графиков превратился в инструмент, который сам готовит данные, строит квантильную оценку плотности распределения Харрелла-Дэвиса, определяет мультимодальность, разделяет выборку на моды и подбирает параметры распределений для каждой из них.

📜 Читайте наглядную статью на Хабре. Внутри аж 48 графиков.

📟 Читайте нас в MAX