AI Security Lab

🎥 Запись вебинара: "Безопасность LLM — риски и защита корпоративных систем" уже доступна!

Генеративный ИИ всё активнее внедряется в компании, но вместе с этим растут и риски. Уже сегодня фиксируются атаки на реальные системы, а существующие механизмы защиты не дают полной гарантии.

На вебинаре мы:
• Разобрали, что такое «безопасность LLM» и какие угрозы она охватывает
• Посмотрели реальные кейсы атак на AI-системы
• Обсудили уязвимости, выделенные международными исследованиями и OWASP
• Сформировали перечень ключевых рисков для корпоративной инфраструктуры
• Определим первые шаги к созданию AI Security-стратегии

👨‍🏫 О спикере:
Евгений Кокуйкин — CEO HiveTrace, сооснователь Raft. Эксперт в области внедрения ИИ и построения масштабируемых систем.

🧠 Кому будет интересно:
ИТ-директорам, архитекторам решений, AI-разработчикам, специалистам по безопасности и всем, кто отвечает за внедрение и защиту AI-технологий в бизнесе.

Смотреть запись: https://youtu.be/66N2MDAI7_w

Наши друзья из PVS-Studio собирают датасет багов, возникающих при использовании вайб-кодинга (код, сгенерированный AI-ассистентами). Цель команды доработать статический анализатор и научить его выявлять новые типы ошибок, характерные для AI-сгенерированного кода. Датасет будет открытым.

Если вы активно используете AI для разработки и хотите помочь коммьюнити сделать инструменты защиты надёжнее, присылайте примеры багов в форму.

Активных контрибьюторов ждёт благодарность и подарок от компании.

Мастер-класс «Как пробить защиту ИИ своими руками и агентом-хакером»

Современные ИИ-системы становятся все умнее: они помогают писать код, анализируют финансы, работают как персональные ассистенты. Но там, где есть технологии, есть и злоумышленники. Хакеры научились атаковать ИИ-системы: обходить инструкции, создавать вредоносный контент, красть данные или просто ронять сервисы.

Что вас ждет на мастер-классе:
🔴Попытаетесь взломать ИИ-агента руками и с помощью продвинутых методов (состязательных суффиксов, PAIR, AutoDAN-Turbo).
🔴В реальном времени защитите систему от угроз.

Будет полезно:
🔴разработчикам ИИ-приложений
🔴архитекторам ML-систем
🔴специалистам по кибербезопасности, работающим с генеративными моделями

✅ Изучить программу и приобрести билет

🔥— если хочешь пойти на мастер-класс к ребятам
🤝— если ждешь другие доклады и мастер-классы
❤️— если есть пробитие

💬 Подписаться на AiConf X

Через месяц встречаемся на AIConf X в Москве!

Генеративный ИИ - это не только возможности для бизнеса, но и новые угрозы🤖

🔹 На бесплатном вебинаре «Как злоумышленники могут атаковать защиту LLM-чат-ботов» расскажем, как сегодня злоумышленники обходят защиты LLM-систем, и как построить корпоративную защиту от подобных атак.

Что разберём:
📍 почему LLM-приложения уязвимы и как это проявляется в проде
📍 OWASP Top-10 для ИИ на практике
📍 джейлбрейки (DAN, UCAR, AIM), AutoDAN, состязательные суффиксы
📍 автоматизация атак через PAIR — и как ей противостоять.

На вебинаре вы узнаете, какова реальная ситуация, и сможете задать вопросы эксперту онлайн.

Забронируйте участие - места ограничены👇
Регистрация - https://vk.cc/cOVxQ7.
🗓 28 августа в 12:00 (МСК).
🤝 Совместный вебинар УЦ Фаст Лейн и Университета ИТМО.

У ИИ-агентов все больше возможностей, а значит и поверхностей атаки. В новой статье на Хабре наш коллега Иван Василенко рассказал об инциденте с ИИ-агентом Operator ChatGPT от OpenAI. Кейс, рассмотренный в этой статье, показывает новый класс угроз, присущих именно автономным ИИ-агентам, и эта проблема носит системный характер, а не является единичным багом

https://habr.com/ru/companies/raft/articles/939824/

В HiveTrace стала доступна интеграция с SIEM💥

Теперь систему, которую разрабатывают участники нашей лаборатории, можно подключить к любой SIEM, поддерживающей стандарт syslog. Все события в системе и результаты работы цензора автоматически поступают в единый центр безопасности.

CTO HiveTrace Анна Тищенко показала, как это работает на примере интеграции с Wazuh

В ТАСС и ИТМО News вышла новость про наш HiveTrace🔥. На фото команда на прошлогодней конференции YappiDays, когда первая версия продукта ещё была в обсуждении. Меньше чем за год мы прошли большой путь, но многое ещё предстоит сделать для лучшего AI Security-решения в России.

Сейчас начинается OWASP AI Agentic Top 10 Project Kick-off - Global Call https://www.youtube.com/watch?v=mMLG6YNm6A8
Будет представлена альфа версия будущего Top 10 для агентов от OWASP

Raft и AI Security Lab продолжают исследование практик безопасности ИИ в России. Цель проекта: сформировать представление о текущей картине в вопросах защиты и тестирования ИИ в отечественных компаниях, показать российские особенности, собрать полезные инструменты и практики.

Приглашаем всех, кто занимается вопросами защиты ИИ-приложений или кто ещё только планирует выстраивать такие механизмы, на интервью. Результаты мы оформим в виде отчёта, и первыми его получат те, кто участвовал в нашем исследовании.

Запись на интервью: https://forms.yandex.ru/u/6891d46d84227c2b306d37b2

Если не готовы участвовать сами, перешлите этот пост людям, которых считаете экспертами в этой области. Нашей индустрии нужны системные данные. Давайте сделаем это вместе!

CISO OpenAI заявил о прекращении "небольшого эксперимента, призванного помочь людям открывать полезные диалоги". Такова реакция на новость о том, что Google индексирует чаты, для которых пользователи ChatGPT создавали ссылку.

Наш инженер Никита Беляевский обнаружил в открытых диалогах персональные данные: имена, номера телефонов, адреса – и обсуждение чувствительных тем. Он также выяснил, что подобная уязвимость касается не только ChatGPT, но и Grok. Среди полумиллиона чатов, в которых пользователи запрашивали политические обзоры и мини-игры в стиле аниме, обнаружились переписки с API-ключами.

Напоминаем: будьте внимательны при работе с AI-моделями! Минимизируйте количество чувствительных данных, которыми вы делитесь в чатах. Всегда проверяйте настройки приватности перед тем, как создать ссылку, и будьте готовы к тому, что о ваших частных переписках с ИИ-моделью может узнать весь интернет.

Вчера OWASP представил руководство по защите агентных приложений. Работа над ним шла несколько месяцев, большую часть времени заняло рецензирование от специалистов из ведущих организаций: Microsoft, Oracle, NIST, Еврокомиссии, Robust Intelligence, Protect AI и других. Среди авторов – руководитель AI Security Lab и HiveTrace Евгений Кокуйкин.

Инженер нашей лаборатории Тимур Низамов рассказал на Хабре, чем с нами решили поделиться специалисты со всего мира и какие рекомендации они приводят по проектированию, разработке, тестированию и развёртыванию агентных систем.

В третьем выпуске нашего подкаста мы поговорили об интерпретируемости моделей ИИ. Обсудили актуальные направления в области интерпретируемости классических моделей и LLM.

Приглашённые гости:
➡️Максим Костриця – DS Researcher в Raft, магистр ФКН ВШЭ
➡️Сабрина Садиех – исследователь XAI, выпускница ПетрГУ
Модератор: Тимур Низамов, разработчик @LLAMATOR, магистрант AI Talent Hub ИТМО

Предыдущие выпуски:
1️⃣Как защитить LLM
2️⃣Как протестировать безопасность AI-приложений?

Через 40 минут начинаем обсуждать методы интерпретируемости моделей ИИ, подключайтесь в Zoom 🔬

ИИ-агенты вошли в топ‑5 на CTF, они решают задачи по безопасности быстрее и точнее, чем большинство участников…но не ты — с этой подборкой ⬇️

📌 Ассистенты и фреймворки для автоматического тестирования и поиска уязвимостей и багов

🔥 Агенты

✔️ Diffblue — генерация юнит–тестов для кода на Java.

✔️ Qod — два агента: один пишет, другой тестирует.

✔️ CodeQL — мощный семантический анализатор уязвимостей от GitHub, open-source.

✔️ Semgrep — кастомный поиск уязвимостей и багов.

✔️ Snyk — ассистент безопасной разработки.

✔️ TestSpark — плагин в IntelliJ: LLM-тесты, EvoSuite и Kex.

✔️ Codiga — code review и безопасность на всех языках.

✔️ Sourcegraph — поддерживает разные LLM и интеграции.

✔️ VulnBuster — агент-помощник от магистрантов AI Talent Hub. Использует 5 MCP-тулзов и выдает отчёт с предложениями по улучшению.

📌 Фреймворки

✔️ MLGym — открытый фреймворк и бенчмарк для агентов в автоматизации ML-задач

✔️ Voice Lab — тестирование голосовых агентов

✔️ AgentOps — мониторинг и бенчмаркинг производительности

✔️ AgentBench — набор тестов для оценки LLM-агентов в окружениях

✔️ LLAMATOR — фреймворк тестирования безопасности LLM-приложений. Продукт AI Security Lab ◾️

➡️ Хочешь находить и анализировать уязвимости с помощью ИИ?

Присоединяйся к AI Security Lab — исследовательской лаборатории AI Talent Hub х Raft. Здесь мы создаём собственные инструменты, участвуем в CTF и прокачиваемся в кибербезе на практике.

🐱 — если узнал рокеров на картинке

#ПолезнаяПодборка
#AITalentHub #ITMO #NapoleonIT

Соскучились по нашим подкастам? Самое время вновь встретиться и обсудить проблемы безопасности ИИ 💥

На этот раз мы поговорим об Интерпретируемости моделей ИИ: как, зачем и насколько это реально?
Обсудим вызовы объяснимости моделей ИИ, рассмотрим актуальные исследования в области интерпретируемости классических моделей и LLM от ведущих команд и вендоров.

Когда: 27 июля, 11:00 (МСК)
Платформа: Zoom, регистрация

Приглашённые гости:
➡️Максим Костриця – DS Reseacher в Raft, магистр ФКН ВШЭ
➡️Сабрина Садиех – исследователь XAI, выпускница ПетрГУ
Модератор: Тимур Низамов, разработчик LLAMATOR, студент AI Talent Hub

Запись доклада уже на YouTube!

Доклад Никиты Беляевского - AI Security инженера в Raft на Saint Highload++ 2025 попал в топ-15 лучших, заняв второе место в рейтинге с оценкой 4,88 из 5 ⌨️

📌Из доклада вы узнаете:

🟦что такое состязательные суффиксы, почему любая LLM им подвержена, как самостоятельно создать такой суффикс

🟦результаты исследования о переносимости суффиксов между различными моделями и получите советы по тестированию ИИ-приложений на основе LLM

🚀 Высокая оценка содержания доклада и его подачи от участников конференции - еще одно подтверждение, что мы идём в правильном направлении. Делаем то, что любим. И делаем это круто!

⛓️‍💥 Смотри запись здесь

📣 SHORTCUT SCIENCE | ВЫПУСК 4: Безопасность больших языковых моделей - как найти и закрыть бэкдор в вашем AI приложении

За эти 40 минут вы узнаете:
⭕️ Чем опасна отравленная LLama
⭕️ Угроза атак LLM на татарском языке
⭕️ Алаймент Grok - почему хуже чем у GPT

Ответы на эти и другие вопросы — в видео!

Ссылки от Никиты:
⭕️ Jailbreak DAN
⭕️ HiveTrace
⭕️ Llamator
⭕️ Garak репа
⭕️ Promptfoo
⭕️ Giskard
⭕️Pyrit

Приятного просмотра!🫶
#Shortcut_Science #AI_agents #AI_Security

Дважды в месяц мы рассказываем о стартапах из России и за её пределами, за которыми интересно наблюдать с точки зрения технологий, продукта или бизнес-модели. Сегодня речь пойдёт о HiveTrace. Это LLM Monitoring для GenAI-приложений.

Подписывайтесь 👉 @yab2btech