Observability на стероидах

Владимир Гордийчук, CTO Yandex Monium, в подкасте linkmeup рассказал о том, как появился Monium, как устроен внутри, что они для себя оптимизировали и почему Prometheus не справился.

Понимаю, что слушать почти 2 часа запись это же сколько нужно свободного времени, поэтому я совместил прослушивание с силовой тренировкой и мне очень даже зашло.

Ниже некоторые из ключевых тезисов подкаста (тут отдельная благодарность нейросказу, встроенному в Яндекс Браузер):

⚡️ Monium появился как система мониторинга для команды YDB (Yandex Database). Поэтому неудивительно, что в качестве бэкэнда хранения используется именно эта БД. Еще там есть собственная TSDB и даже ClickHouse.

⚡️ Предпосылкой к созданию система стала невозможность использования существующих решений. Яндексу нужно было собирать высококардинальные метрики.

⚡️ Внутри Яндекс в Мониум передается 3 миллиарда сэмплов в секунду и около 60 гигабайт логов в секунду.

⚡️ Мониум может использоваться независимо от Яндекс.Облака.

⚡️ Философия Мониума основана на принципе real-time мониторинга, т.е. данные попадают в систему через считанные секунды.

⚡️ Яндекс разработал свой бинарный протокол для обмена данными SPAC, что снизило накладные расходы на передачу данных.

⚡️ Протокол Protobuf требует много ресурсов для парсинга на больших объёмах данных.

⚡️ JSON неэффективен при передаче данных между системами, но удобен при взамодействии с ним человека.

⚡️ Monium имеет встроенный функционал агрегации алертов.

⚡️ В Monium есть встроенный функционал расчета SLO.

⚡️ В Monium есть встроенный функционал поиска аномалий.

📱 Telegram | 📲 MAX