Смотрим трейс одного из таких случаев – и видим, что span обращения к внешнему сервису занимает около 7 секунд!
То есть приложение не упирается в CPU и почти не генерирует ошибок. Оно просто долго ждёт зависимость.
Дальше уже можно разбираться, почему внешний сервис отвечает медленно: проблема в сети, таймаутах, очереди запросов, перегрузке или чём-то ещё.
В этом кейсе average почти скрыл проблему, p99 показал её масштаб, а trace помог найти место, где теряются эти 7 секунд.
Сохраняйте как короткий алгоритм: заметили жалобы → смотрим перцентили → находим медленный запрос → идём в trace → локализуем участок задержки❤️