LinuxSkill - Сводки с прода и… on Telegram: “📊 Диск тормозит, а iostat показывает норму? Ище…”

📊 Диск тормозит, а iostat показывает норму? Ищем хвост задержек

Приложение подвисает на записи, в логах таймауты к БД, а iostat рисует w_await в пару миллисекунд. Подвох в том, что iostat показывает среднее: 990 запросов по 0.1 мс и 10 по 200 мс дают в среднем 2 мс. Показываю, как достать хвост, который тонет в среднем.

Что на самом деле показывает iostat

# 1. -x — расширенные колонки, раз в секунду
iostat -x 1
# r_await и w_await — СРЕДНЕЕ за интервал:
# редкие зависшие запросы в нём растворяются

ВАЖНО: %util под 100% на SSD, NVMe и RAID не значит, что диск упёрся: они обслуживают запросы параллельно. Это прямо написано в man iostat.

Гистограмма вместо среднего

# 2. В Ubuntu утилита идёт в пакете bpftrace.
# Ctrl+C — и получаешь распределение задержек.
sudo biolatency.bt

@usecs:
[16, 32)          426043
[32, 64)           15436
[64, 128)            527
...
[1K, 2K)              24
[2K, 4K)              17
[4K, 8K)              13

Проверил на тестовой нагрузке (столбики убрал, чтобы влезло в экран): iostat в тот же момент показывал w_await 0.02 мс, а в хвосте висели запросы по 4–8 мс — в сотни раз дольше среднего.

Чей I/O висит

# 3. Каждый запрос дольше 10 мс — с процессом.
# Порог подстрой: для HDD 10 мс — норма.
# На tracepoint'ах: не сломается с новым ядром.
sudo bpftrace -e '
t:block:block_bio_queue {
  @ts[args->sector] = nsecs;
  @who[args->sector] = comm;
}
t:block:block_rq_complete /@ts[args->sector]/ {
  $ms = (nsecs - @ts[args->sector]) / 1000000;
  if ($ms >= 10) {
    printf("%s %d ms\n", @who[args->sector], $ms);
  }
  delete(@ts[args->sector]);
  delete(@who[args->sector]);
}
END { clear(@ts); clear(@who); }'

Видишь kworker или jbd2 вместо своего процесса — это отложенная запись из page cache. Настоящего писателя покажет pidstat -d 1.

Среднее говорит «всё хорошо», гистограмма показывает хвост, а третья команда — чей он. Дальше — по месту: вынести бэкап, развести нагрузку или идти к провайдеру с цифрами.

❗️ Нравится формат? Ставь 👍
👉 Рубрика: #шпаргалка@LinuxSkill
#Linux #eBPF #Storage #Troubleshooting #SysAdmin #DevOps