#ml_для_иб #hr
Работа с данными в ИБ - какие нужны компетенции? Часть 2.
1. По этапам работы с данными - как на картинке:
Диаграмма соответствует пайплайну, если ее читать по часовой стрелке, начиная с инженера данных. Он должен обладать навыками работы с БД (в контексте ИБ, например, Postgres, Elastic/ClickHouse/Cassandra, MongoDB), уметь создавать ETL/ELT процессы и работать с соответствующими инструментами (NiFi, Kafka, Airflow, Pentaho, облачные ETL, такие как YCloud DataTransfer, DataStreams). И, конечно же, владеть ЯП для обработки данных напрямую, Python идеально подходит. Находить проблемы в данных, уметь их исправлять, обеспечивать эффективное хранение и так далее. Аналитик данных описывает данные, находит статистические зависимости и исследует выполнение каких-то релевантных задаче гипотез в данных. Например, если стоит задача нахождения подозрительных процесс по событию 4688 в логах Windows, то надо удостовериться, что такие события вообще есть, что в данных есть cmdline, есть сведения по правам процесса, и по его родителю, как минимум. Таким образом, аналитик уже должен обладать знаниями из доменной области, к которой применяется аппарат ml. Дата саентинст (специалист по машинному обучению) - создает программный продукт (модель ml), который либо оптимизирует существующий технический процесс (например, поиск сложных инцидентов, которые не увидят корр. правила), или конвертируют когнитивную деятельность человека в технический процесс на основе ml (например, вместо человека определяют, является ли инцидент FP). И обычно (но не всегда) в последнюю очередь в игру вступает инженер машинного обучения. Он конвертирует модель в подходящий формат (например, перегоняет в код на C, чтобы обеспечить быстродействие), создает инфраструктуру функционирования (микросервисы, докеры с моделями, пайплайны обработки данных на входе и на выходе модели), настраивает мониторинг метрик качества модели, автоматическое дообучение и ротацию дообученных моделей, если надо, гладкий и незаметный деплой в прод новых моделей.