Следующий год - ВКР. Сейчас начинаю искать тему для научного трека. <...тут текущие треки, интересные студенту...>
Буду признателен если сориентируете по актуальным темам сейчас в отрасли MLSec.
Предложил следующее (опустим обсуждение тем студента):
Из того, что индустрии нужно "сегодня":
- Всевозможные триаж технологии - триаж инцидентов SOC (сеть, хосты, веб), триаж сработок инструментов AppSec (sast/dast/секреты/комбинация предыдущих)
- Agent оркестраторы/агенты поверх инструментов ИБ (автопентест/автофаззер/авто...), всевозможные тестирования на OSS базах уязвимостей/CTF и bugbounty
- Оптимизация decoder/encoder архитектур под домен ИБ (лучше токенизация, разделение срытого пространства на какой-то задаче, удержание длинного контекста)
- Интерпретируемость моделей и агентов в контексте ИБ (умение комбинировать ML методы типа shap/logprob анализа и ИБ запросов к обоснованию вредоноса/инцидента/атаки/..., может быть смотреть скрытые представления)
- RL среды для генерации ИБ сценариев (gym фреймворки, генерация синтетики там, где не хватает настоящих данных)
- Борьба с deepfake
- Правовые аспекты: соблюдение правовых норм при работе с данными, используемыми для обучения модели, автоматизация требований ГОСТ по безопасной разработки систем с ИИ
- Аппаратная безопасность, Безопасность современных ЦОД (RDMA, Infiniband, GPU)
Из того, что индустрии пригодится "завтра", подо что пока не так много спроса у рынка, но потребности растут как грибы - AISec/MLSec/...:
- анализ скрытых возможностей LLM/агентов - умение выходить из среды текстирования/докера/..., умение скрывать логику размышлений
- llm-firewall как в классификации request/response, так и prompt-injection/sponge-атаки и подобные защищающие агентов механизмы
- элаймент на уровне обнуления/изменения весов модели (не проверять через llmwaf политический контекст, а заблокировать модели возможность говорить об этом)
- Верификация скиллов и MCP
- Защита моделей на конечных устройствах
Что скажете по написанному - нигде не соврал? Может что забыл?
Давайте поможем студентам, накидаем вариантов:)
UPD: пост обновлен, с тематических каналов прилетело много полезного!