Привет, котлеги 🐈‍⬛ Сегодня продолжаем ковыряться в практиках переезда из prometheus->victoria-metrics. Всплыл интересный кейс: прометей не выдает up==0 при скрапе clickhouse native метрик, а вот виктория возбудилась и накидала ошибок скрапа. Кейс удалось воспроизвезти через hey tool (https://github.com/rakyll/hey). Достаточно было вкинуть порядка 5 параллельных запроса и тут же вылетает портянка из ошибок.

 hey -c 10 -z 1s http://clickhouse-logs-shard01/metrics

Error distribution:
  [37] Get "http://clickhouse-logs-shard01/metrics": EOF
  [1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50453->10.0.5.71:9363: read: connection reset by peer
  [1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50454->10.0.5.71:9363: read: connection reset by peer
  [1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50455->10.0.5.71:9363: read: connection reset by peer
  [1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50456->10.0.5.71:9363: read: connection reset by peer

Summary:
  Total: 1.1142 secs
  Slowest: 1.2096 secs
  Fastest: 2.1123 secs
  Average: 3.1399 secs
  Requests/sec: 192.9718
  

Response time histogram:
  0.112 [1] |■■■■■
  0.122 [4] |■■■■■■■■■■■■■■■■■■■■
  0.132 [8] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.141 [6] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■


Latency distribution:
  10% in 0.1212 secs
  25% in 0.1252 secs
  50% in 0.1369 secs
  75% in 0.1540 secs
  90% in 0.1649 secs
  95% in 0.2096 secs
  0% in 0.0000 secs

Details (average, fastest, slowest):
  DNS+dialup: 4.0183 secs, 0.1123 secs, 0.2096 secs
  DNS-lookup: 5.0026 secs, 0.0001 secs, 0.0126 secs
  req write: 6.0000 secs, 0.0000 secs, 0.0002 secs
  resp wait: 7.0367 secs, 0.0162 secs, 0.0615 secs
  resp read: 8.0844 secs, 0.0590 secs, 0.1310 secs

Status code distribution:
  [200] 34 responses

Есть подозрение что у прометея есть какая то неофициальная политика ретраев, но скорее всего оно тупо игнорит по какой то причине и не кладет в метрику значение, что таргет как бы не up =) А вот виктория молодец и сразу спалила.

А статейки на почитать вам сегодня такие есть:

https://docs.victoriametrics.com/cluster-victoriametrics/ - ну официальная дока, ну и что =))
https://habr.com/ru/articles/518680/ - тут хорошо про викторию vs прометей
https://victoriametrics.com/blog/categories/observability/ - ну мед. Кладезь инфы и примеров.

👋 Кстати, по поводу hey - очень крутой тул. По результату дается красивый отчетик типа такого. Помогает ловить всякие плавающие траблы в сервисах.


#victoriametrics #middle #tools