Рады поделиться новой статьей наших коллег, опубликованной на Хабре

➡️ Как мы захотели контролировать SPILL’ы в Greenplum и сделали «Демократизатор»

Команда отдела поддержки инфраструктуры подготовила материал о создании системы автоматического контроля нагрузки в Greenplum — инструмента под названием «Демократизатор».

Раньше один неоптимизированный запрос мог генерировать до 40 ТБ SPILL-файлов, парализуя всю систему. Пользователи не понимали причин проблем, а администраторы узнавали об инцидентах постфактум.

В статье описана архитектура решения на Python, Django и Celery, которое работает 24/7: обнаруживает проблемные запросы, предупреждает пользователей, при необходимости завершает тяжелые процессы и дает понятную обратную связь.

Результаты впечатляют: более 10 000 зафиксированных нарушений, 13 000 уведомлений и 459 завершенных проблемных процессов.

📢 Читайте полную статью на Хабре и оставляйте комментарии!