#ml_для_иб
Работа с данными в ИБ - какие нужны компетенции? Часть 1.

Данные в ИБ - логи сетевого трафика, временные ряды объемов передачи данных между хостами, поток системных событий windows/linux, алерты и инциденты, код различного, потенциально вредоносного ПО, и прочее. Перечислять можно долго.
Задачи в ИБ, требующие работы с данными - нахождение аномалий в потоковых данных, определение FP-инцидентов, кластеризация сущностей по признакам потоковых данных, ими генерируемых (хостам, учетным записям, пользователям) для выявления на фоне этих кластеров, опять же, аномального поведения. По возможным кейсам применения ml в ИБ и его качественному влиянию на отрасль Google в этом году выпустила прекрасный отчет.

Каков стандартный пайплайн работы с данными в общем случае?
1. Сбор и хранение. Собрать данные, положить в хранилище в сыром виде.
2. Обработка и очистка. Структурировать, почистить от пропусков, дублей, поврежденных элементов, выбросов, убрать выходящую за рамки задачи информацию.
3. Анализ. Проанализировать и удостовериться в их качестве и пригодности к задаче.
4. Создание PoC. Провести исследование наиболее пригодных для задачи решений и собрать пилотную ml-модель (хотя может быть, что и матстат-модели хватит).
5. Эксплуатация. Наконец, собрать программный продукт вокруг модели, внедрить его в бизнес и тех. процесс, и регулярно измерять его эффективность.

Кто всем этим должен заниматься? Реальность в сфере информационных технологий очень быстро меняется, и поэтому четких определений профессий тут нет (см. реестр профессиональных стандартов). Существует два подхода к разделению компетенций на должности/профессии. По этапам работы с данными, и по типам самого ml. Подробнее в следующем посте.