Несмотря на то, что проблема уже решена, остаётся желание смотреть за показателями сервера и дальше, чтобы вовремя поймать подобные проблемы ещё "на подлёте".

А ведь этот проект у нас не единственный с высокой нагрузкой, пригодится и на других.

Поэтому решено: сделаю свой мониторинг, отслеживающий сервер PHP.

Что мониторим

Основные параметры сервера, за которыми нужно следить, это очередь запросов (если всё в порядке тогда в ней 0 ожидающих запросов), а также количество активных процессов.

Если количество активных процессов начинает зашкаливать и упирается в лимит, это означает что сервер уже не справляется с нагрузкой и не успевает обрабатывать запросы.

Пфф... это решается за 15 минут Прометей/Графана/etc

Ну... нет. Ни один из мне сервисов не подключается за 15 минут. Возни везде много и самый минимум подключение займёт несколько часов.

Кто утверждает что такой мониторинг делается без подготовки за 15 минут, либо обманывает себя либо просто врёт.

А толковые APM (глубоко интегрированные системы мониторинга веб-приложений) ещё и стоят капец сколько денег. Например BlackFire стоит 20 000 рублей в месяц.