False Positive

Разбор докладов с AI-трека OFFZONE 2025. Часть 1

21–22 августа в Москве прошла техническая конференция по кибербезопасности OFFZONE 2025.

От нашей команды на конференции выступил Максим Митрофанов с докладом про создание своего бенчмарка для LLM. Кроме того, мы послушали другие выступления по теме AI в ИБ, на которых нас ждало много полезных инсайтов.

В эту пятницу специалисты нашей ML-команды Максим Митрофанов и Вадим Безбородов проведут разбор докладов AI-трека конференции, обсудят ключевые идеи выступлений и поделятся своими впечатлениями.

На встрече вы узнаете:
🛑как применяют LLM в системах автоматизации и обнаружения угроз,
🛑как строить AI-агентов для пентеста и реверса и какие бенчмарки при этом нужны,
🛑как использовать ML для анализа трафика и триажа уязвимостей,
🛑какие существуют подходы к защите моделей и данных в проде.

Разберем удачные кейсы и спорные решения, а также сформулируем выводы, которые можно будет применить в работе.

Ждем всех в Толке в пятницу, 12 сентября, в 15:00.
Ссылка для подключения: Ктолк.

#reading_group #conf #offzone2025 #ml_team

Чтобы вы не скучали в пятницу без Reading Group — предлагаем вашему вниманию подборку интересных исследований от ребят из ML-команды.😊

🔵 AI-ассистент для генерации экспертного контента в SIEM (Александр Мамылов) — статья о том, как наш AI-асcистент автоматизирует подготовку правил нормализации и экспертного контента для SIEM, используя для этого кластеризацию логов и fine-tuning LLM.

🔵 Эволюция защиты в PT Data Security: от регулярных выражений к ML (Вадим Безбородов, Максим Митрофанов) — сравниваются классические методы обнаружения чувствительных данных (регулярные выражения) и современные ML-модели (NER, CASSED), которые показали существенно более высокую точность.

🔵 Не k-means единым: кластеризуем некластеризуемое (Тимур Касимов) — статья про применение алгоритмов типа MinHash и HDBSCAN вместо K-means для кластеризации логов, коммандлайнов и событий в SIEM и BAD.

#ml_team #reasearch

Всем привет!

Знаем-знаем, в это время мы обычно публикуем анонс следующей Reading Group, но в этот раз мы выложили его на youtube!

*Шутка*

Мы очень хотели бы поделиться впечатлениями о прошедшей конференции OFFZONE, поэтому посвятим этому следующую Reading Group и перенесем встречу на 12 сентября, чтобы дождаться записей докладов, освежить их в памяти и рассказать вам день AI.Zone за 60 минут🏃‍♂️

А пока, хотели бы лучше понять, насколько наша аудитория знакома с этой конференцией:

На последней встрече PT ML Reading Group Александр Мамылов представил анализ статьи SingLoRA — новый метод создания адаптеров для LLM.

🎥Делимся записью и основными выводами:

• вспомнили, какие на данный момент существуют вариации LoRA и их ключевые особенности,

• разобрались в «математике» нового метода и в том, как авторы решили проблему квадратной матрицы,

• фреймворк PEFT пока не поддерживает SingLoRA, поэтому чтобы поиграться с ним на своих задачах можно использовать код из этого репозитория,

• протестировали SingLoRA на одной из наших задач: метрики изменились в пределах погрешности,

• использование одной матрицы заметно уменьшает размер адаптера и ускоряет его обучение, однако это не является главным ботлнеком при работе LLM в продакшене.

#reading_group #recording #nlp #llm

Мы начинаем😊

Промптинг LLM и RAG уже не вытягивают, а на полноценный fine-tune не хватает железа?
Хочется стабильного качества без недель перебора гиперпараметров?

💡Тогда вам стоит попробовать SingLoRA — новый подход к PEFT (Parameter-Efficient Fine-Tuning), который почти в два раза эффективнее, чем классический метод LoRA.

Уже в эту пятницу наш коллега Александр Мамылов расскажет, почему SingLoRA имеет все шансы стать новым стандартом дообучения LLM на своих данных, и чем он выгодно отличается от существующих решений.

На встрече обсудим:
🔹 преимущества SingLoRA по сравнению с классическими двухматричными подходами LoRA и его вариантов DoRA/qLoRA,
🔹 за счёт чего достигается стабильность в создании адаптера к LLM,
🔹 разберём, насколько SingLoRA устойчив к изменению learning rate и других гиперпараметров,
🔹 оценим эффективность нового подхода на примере fine-tune LLM и Diffusion Model.

Ждём всех на очередной встрече PT ML Reading Group в пятницу, 22 августа, в 15:00.
Подключайтесь: Ктолк

#reading_group #nlp #llm

🤖 Как развернуть свою LLM и не пройтись по полю из граблей

Self-hosted LLM — звучит пафосно. Но на практике это не только про независимость от внешних LLM-провайдеров и приватность данных, а ещё и про бесконечные вопросы: какую модель выбрать, сколько GPU купить, как деплоить, что мониторить и т.д.

🎙Уже завтра, 19 августа в 14:00, на вебинаре Алексей Парамонов и Алексей Пехтерев из команды PositiveLLM поделятся как мы в PT поднимали self-hosted LLM.

Темы вебинара:
🔹когда реально нужно запариваться с self-hosted, а когда хватит и внешнего API,
🔹как выбрать open-source модель из всего «зоопарка» LLM,
🔹фреймворки для развёртывания LLM: vLLM/SGLang/TensorRT-LLM,
🔹RAG vs fine-tuning — закон Парето в мире LLM,
🔹как выбрать подходящее железо,
🔹мониторинг наше всё. Считаем пользу от LLM для бизнеса.

Регистрируйтесь на вебинар, если не хотите учиться исключительно на собственных ошибках.

#webinar #ml_team #llm

На прошедшей Reading Group Смирнов Тимур разобрал систему Facade от Google, призванную обнаруживать внутренние нарушения безопасности.

Публикуем запись встречи и выводы по результатам обсуждения📝:
🔹нашли в статье нестыковку: “в проде с 2018”, но обучение “за пару часов на H100” (GPU 2022+);
🔹в условиях Google кодирование ресурсов через нормированную частоту обращения к ним выглядит оправдано;
🔹переобучение раз в год — сомнительно, но ок;
🔹авторы представили собственную pairwise loss function, устойчивую к шуму и дисбалансу в данных;
🔹к сожалению, Facade плохо выявляет фрод внутри прямых обязанностей сотрудника;
🔹интересная идея сгенерировать синтетические данные об атаках путём перемешивания вектора контекста у пользователей.

P.S.: Авторы статьи выступали со своей работой на BlackHat USA 2025. Как только появятся записи докладов мы проведём RG с разбором конфы, где ещё раз обсудим эту статью)

#reading_group #recording #cybersecurity #dl

Наша команда едет на OFFZONE! 🔴

ML-лид направления AppSec, Максим Митрофанов, расскажет:
• как LLM помогли размечать вредоносный код,
• какие классы угроз они находят,
• зачем нам нужен экспертный бенчмарк для этого.

К слову, бенч уже пополнился моделью GPT-oss 120B😏

#events #ml_team #offzone2025

Мы начинаем!

#memes

Внутренние угрозы (insider threats) и фрод сотрудников — одни из самых дорогих проблем для крупных компаний: доступ сотрудников к чувствительным данным часто приводит к утечкам, промышленному шпионажу и репутационным потерям. При этом классические системы выявления аномалий либо генерируют массу фолзов, либо требуют размеченных инцидентов для обучения.

Авторы из Google предлагают свой подход — систему Facade, которая умеет находить подозрительные действия без использования примеров инцидентов. Facade обучается только на легитимных событиях, сравнивая действия в корпоративной инфраструктуре с общим фоном и контекстом: роль пользователя, его окружение, историю доступов и т.д.

На предстоящей встрече PT ML Reading Group специалист ML-команды Смирнов Тимур расскажет, как авторы достигли false positive rate менее 0.01% даже спустя год после запуска обученной модели во внутреннем контуре.

На встрече разберём:
🔹 архитектуру Facade и почему она работает даже без размеченных данных,
🔹 зачем авторам понадобился contrastive learning на легитимных событиях,
🔹 как система определяет «контекст» для пользователя и различает типичные и подозрительные действия,
🔹 почему в Google система оказалась настолько устойчивой к изменяющейся структуре компании и новым типам событий,
🔹 какие ограничения есть у подхода и чем этот опыт может быть полезен для построения защиты в других компаниях.

Присоединяйтесь к нам в Толке в пятницу, 8 августа, в 15:00.
Ссылка для подключения: Ктолк

#reading_group #cybersecurity #dl

🤖 Чем больше распространяются LLM, тем интереснее они злоумышленникам. Как защитить большие языковые модели от взлома?

На вебинаре 31 июля в 11:00 вместе с нашими экспертами Светланой Газизовой, Анастасией Истоминой и Александром Кузьминым обсудим актуальные угрозы, способы их детектирования и защиты от них.

👿 Например, такие как специально сформированные промпты или незаметно измененные входные данные, которые помогают обойти защитные механизмы нейросетей и получить на выходе неверный или вредоносный вывод.

А еще рассмотрим реальные технологии защиты, которые помогут вашему бизнесу быть устойчивее к атакам:

🔴продвинутую валидацию запросов и ответов;
🔴интерпретируемость и прозрачность LLM;
🔴детектирование аномалий.

💪 Хотите научиться защищать LLM уже сейчас? Тогда регистрируйтесь и ставьте напоминание в календари.

#PositiveЭксперты
@Positive_Technologies

🎥 Публикуем запись очередной Reading Group, состоявшейся 25 июля. В рамках встречи наша ML-команда разобрала несколько докладов с конференции RSAC 2025

📝 Что обсудили:
🔹как именно ИИ снижает порог входа в киберпреступность,
🔹куда стоит прикручивать LLM + RAG в SOC, чтобы было полезно,
🔹как работает гибридный подход (regex + LLM + Classic ML) в задаче классификации чувствительных данных,
🔹как стоит слушать бизнесовые доклады, чтобы извлечь максимум инсайтов,
🔹насколько эффективно фаззинг-тестирование с использование AI-агентов,
🔹как из аномалий извлекать атаки при помощи LLM,
🔹как организовывать команды AI-агентов, чтобы создать Purple Team.

P.S.: в комментариях к посту вы найдёте презентации докладов.

#reading_group #recording #conf #rsac2025

Начинаем через 3 минуты!

С 28 апреля по 1 мая в Сан‑Франциско проходил RSAC 2025 — международная конференция по кибербезопасности. Помимо привычных ИБ‑тем, в программе было много докладов, тесно связанных с AI разной степени применимости — от фундаментальных обсуждений AI-агентов до кейсов применения LLM для триажа, фаззинга и защиты данных.

В эту пятницу специалисты ML‑команды проведут блиц‑разбор семи докладов (по 10–15 минут на каждый) с конференции, которые привлекли наше внимание.

На встрече вы узнаете:
🔹Кейсы внедрения AI в SOC от полевых команд
🔹Какие AI‑инструменты реально помогают специалистам SOC
🔹Как применить ML для классификации данных и предотвращения их утечек
🔹Как будет меняться рынок кибербезопасности с приходом Gen AI
🔹Как интегрировать LLM‑модели в фаззинг‑тестирование и триаж уязвимостей
🔹Как LLM могут помогать маппить алерты на техники и тактики матрицы MITRE
🔹Можно ли создать круглосуточную Purple-team на основе AI-агентов

Ждём всех в Толке в пятницу, 25 июля, в 15:00.
Подключайтесь: Ктолк

#reading_group #conf #rsac2025

🎥 Выкладываем запись прошедшей в пятницу (11 июля) Reading Group, на которой Игорь Кабанов разбирал статью Bytes Are All You Need: Transformers Operating Directly On File Bytes.

📝 Что обсудили:

- Зачем авторы завели NLP подход на байтовых данных.

- Как и зачем сделана свертка для агрегации байтов в эмбеддинги.

- Какими получились эксперименты с sliding window attention и block sparse attention.

- Насколько хорош ByteFormer по сравнению с другими моделями, такими как Perceiver-IO. Спойлер: ByteFormer - топ.

- Как ByteFormer может быть полезен для задач кибербеза и что получилось у ребят из CrowdStrike.

#reading_group #recording #nlp

Хардовые таски и их разборы прошедшего AI CTF. Часть 2. Уже на Хабре https://habr.com/ru/companies/pt/articles/926892/