Технологии безопасности Big Tech #5.
Масштабируемый сбор логов: проектируем прокси-слой

Обеспечить аналитикам мгновенный поиск по петабайтам логов — сложно. А что, если данные распределены между горячим хранилищем, холодным архивом и системами индексов? Прямые запросы к таким объемам просто неэффективны.

Так мы создали собственный прокси-слой — интеллектуальный маршрутизатор запросов для нашей SIEM-системы.

🔹О том, как он устроен изнутри, расскажет Татьяна Хуртина, руководитель группы средств мониторинга VK.

Из выпуска вы узнаете:

🔹Почему без прокси не обойтись: как один слой объединяет OpenSearch, ClickHouse и YTsaurus, делая их прозрачными для аналитика.

🔹Как работает трансляция запросов: превращаем запросы из OpenSearch DSL в оптимизированный SQL для аналитических хранилищ.

🔹Как оптимизировать поиск: за счет предварительного отбора ID через индексатор мы минимизируем объем обрабатываемых данных.

💙 Смотреть полное видео

VK Security | Буст этому каналу!

#технологии #эксперты #VKSIEM