Неочевидная оптимизация Grafana досок для Thanos — добавить фильтр по label prometheus

Thanos это один из вариантов долговременного хранилища метрик Prometheus. И типичная архитектура такая, что Thanos один, а Prometheus-ов много. И я наивно полагал, что если выбрать один точный фильтр, то запрос будет быстрым. Оказалось, что если отфильтровать данные сначала по prometheus, а потом по имени сервера instance, то запрос получается быстрее, чем когда фильтрация происходит только по имени сервера

Примеры:

metric{instance="$instance"}
и
metric{prometheus="$prometheus", instance="$instance"}

Эффект небольшой, но заметен. На первом запросе. Со второго начинается кеширование и данные уже не такие разные

Также довольно простое ускорение — увеличить $__interval для графиков. Например у вас отображается 2600 точек на графике, можно в свойствах панели (Query options) указать "Max data points" = 300 — это не очень мало, но довольно быстро