🛠️ VK SIEM: Исследуем кейс масштабирования

🔹Когда VK SIEM должна была обрабатывать миллионы событий в секунду, классические подходы перестали работать. Проблема была не только в объёмах, а в том, что события приходили с десятков тысяч серверов, рабочих станций и приложений в разных форматах.

🔹 Если применить классические подходы, которые используются в SIEM для обработки логов, то при таких нагрузках система может захлёбываться: возникал эффект backpressure, когда задержки в одном компоненте останавливали весь поток.

🔹 Для решения этой проблемы мы внедрили многоуровневую архитектуру, аналогичную той, что используется в нашей компании для обработки пользовательских данных. Теперь события проходят через цепочку коллекторов, нормализаторов и буферов, прежде чем попасть в VK SIEM. Да, это усложнило систему, но зато мы получили стабильность даже при нагрузке в 3,5 млн событий в секунду.
Но на этом история не закончилась — оказалось, что собрать события это лишь полдела...

Во второй части мы расскажем, с какой неочевидной проблемой столкнулись на этапе поиска. Не переключайтесь!

VK Security | Буст этому каналу!

#VKSIEM #технологии