Как мы выстраиваем защиту на основе больших данных

В инфраструктуре компаний накапливаются терабайты данных, но разным средствам защиты нужна лишь часть из них: одним — сетевой трафик, другим — логи с устройств. Поэтому общая картина распадается, важные связи между событиями теряются, а часть данных и вовсе остается без анализа — именно в таких слепых зонах легко упустить инцидент.

Но ситуацию можно изменить, если объединить данные из разных источников и от разных клиентов в единый массив. Например, связать разрозненные события в инфраструктурах нескольких компаний и понять, что за ними стоит одна атакующая кампания — хотя для каждой организации по отдельности такая атака может оставаться незамеченной.

Чтобы выявлять такие кампании, мы разработали и внедрили внутреннюю платформу на основе архитектуры Security Lakehouse

Она объединяет обезличенные данные всех наших продуктов и клиентских инсталляций в одном месте, позволяя сопоставлять и взаимно обогащать телеметрию из разных источников.

Раньше данные каждого продукта хранились обособленно: чтобы проверить гипотезу, аналитикам приходилось согласовывать доступы между отделами, заказывать выгрузки и ждать датасеты. Теперь Security Lakehouse приводит поток сырых данных к единому формату и сразу отдает его в работу специалистам в удобном виде.

Платформа принимает в пике до миллиона событий в секунду и обрабатывает десятки терабайт новых данных. Ежесуточно в нее поступает более 50 миллиардов обезличенных записей от всех наших продуктов — о том, что происходит в сетях и на устройствах защищаемых компаний.

На этих данных обучаются наши ML-модели: они замечают аномалии на стыке контекстов, которые невозможно поймать по отдельности. Например, когда приложение на устройстве вдруг открывает сетевое соединение по нетипичному для себя протоколу. Чтобы распознать в этом атаку, нужно одновременно сопоставлять и поведение устройства, и сетевую активность.

Как это работает в наших продуктах

☁️ Например, PT Cloud AF находит IP-адреса, которые атакуют сразу несколько компаний, — хотя для каждой из них в отдельности атака выглядит как несколько разрозненных срабатываний, неотличимых от фонового шума.

🌐 Security Lakehouse в облаке Positive Technologies накапливает обезличенные данные с клиентских PT NAD и данные киберразведки, на основе которых рассчитываются облачные детекты и обогащения. Таким образом, клиенты получают более точные детекты.

😈 Кроме того, Security Lakehouse лежит в основе PT X — нашего облачного решения для защиты компаний от кибератак с гарантией результата. Если мы видим атаку у одной компании, собранные данные позволяют сразу увидеть ее артефакты и у других клиентов под защитой продукта.

🚘 ИИ развивается по обе стороны — и в атаке, и в защите. Это требует хранить данные дольше и искать ретроспективные события быстрее, а традиционные архитектуры на таких нагрузках упираются в предел. Поэтому именно на этой платформе мы строим следующее поколение наших продуктов, включая MaxPatrol O2, где аналитика, ИИ и работа с большими данными объединены в единую систему.

Подробнее о нашем Security Lakehouse расскажем на конференции Positive Security Day, которая пройдет 15-16 октября.

@Positive_Technologies