AI Security Lab

Делюсь заметками с Conversations 2025. Конференция получилась энергичной. Спикеры из разных компаний активно делились кейсами внедрения AI: где-то уже посчитан бизнес-эффект и технология себя показала, в других случаях результат пока больше маркетинговый. Тем не менее динамика есть, и это радует. Было много прикладных докладов про RAG, модели и инструменты GenAI.

Питчил HiveTrace на стартап-треке и мы выиграли грант от i•legal 🎉. Идея со стартап-треком отличная: многие фонды приехали именно ради него, по их количеству площадка не уступала казанскому РВФ.

Поучаствовал в панельной дискуссии о динамике GenAI, кодовых ассистентах и локальных моделях, а в кулуарах обменялись с коллегами идеями по работе с этикой моделей.

Тимур Низамов и Дмитрий Чечёткин показали практические приёмы взлома ИИ-агентов.

На вечерних Awards проекты Raft вышли в финал, а магистерская программа Talent Hub ИТМО выиграла награду.

Команда Conversations и Just AI, спасибо за тёплый приём! 🔥

➡️ДОД⬅️Партнеры, лаборатории и проекты

В рамках DemoDay прошла секция Дня открытых дверей, где:
✅ Сооснователь AI Talent Hub Дмитрий Ботов рассказал о преимуществах проектного подхода в магистратуре.
✅ Обсудили форматы взаимодействия с бизнесом: корпоративное обучение, стажировки, развитие HR-бренда, внедрение AI-решений.
✅ Представили лаборатории и партнерские треки, познакомились с их представителями: Napoleon IT, AIRI, X5 Tech и Raft.

📷 Запись ДОД уже на канале!

#AITalentHub #ITMO #NapoleonIT

Каждый день выходят новые гайды о защите и тестировании ИИ-агентов, однако конкретные примеры небезопасных агентов приводятся крайне редко

Мы с Just AI решили это исправить и запустили открытый русскоязычный репозиторий уязвимых ИИ-агентов: https://github.com/LLAMATOR-Core/ai-agents-security

О том, как мы собираем разнообразные интерактивные примеры уязвимых и вредоносных агентных систем под управлением ИИ, рассказали неделю назад на конференции Conversations. Делимся записью и приглашаем контрибьютить новые кейсы

➡️RuTube
➡️Telegram👇

Вторая часть статьи про ETSI SAI готова: https://habr.com/ru/companies/raft/articles/919026/. Свежие документы не такие пресные, как первые публикации 2022–2024 годов. Обратите внимание на:
• TS 104 223 «Baseline Cyber Security Requirements»
• TR 104 128 «Guide to Cyber Security for AI Systems»

Здесь актуальные рекомендации и, что немаловажно, примеры применения этих рекомендаций в практических сценариях.

Анонсируем ближайшие выступления наших коллег 👍

📍21 июня, Екатеринбург. Датазавтрак UDV Group x ML EKB
Доклад Тимура Низамова и Богдана Минко
⚫️«Худшая база данных, которая стала незаменимой»: безопасность LLM в эпоху агентов»

📍21 июня, Казань. Конференция Татар Сан
Доклад Андрея Носова
⚫️«Собираем по кубикам: как PM сам прототип делал»

📍23 июня, Санкт-Петербург. Saint HighLoad++
Доклад Андрея Носова
⚫️«Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen / Llama / Gemma»

Доклад Никиты Беляевского
⚫️«Обход защиты LLM при помощи состязательных суффиксов и AutoDAN»

📍25 июня, Москва. GigaConf 2025
Доклад Никиты Грибанова
⚫️«AI-ассистент как панацея от канцелярских вопросов»

📍27 июня, Санкт-Петербург. Conversations AI
Доклад Тимура Низамова и Дмитрия Чечёткина (Just AI)
⚫️«Говори как хакер — приемы взлома ИИ агентов»

Дискуссия с участием Евгения Кокуйкина
⚫️«RnD на стероидах: автономные агенты с суперпамятью, вызовы vibe coding и новая эра кибербезопасности»

До встречи на конференциях!

В ближайшие дни участники нашей лаборатории поделятся своим опытом атак на LLM, примерами небезопасных агентов и способами защиты генеративного ИИ на топовых конференциях 💥

Недавно узнал, что существует стрим Securing Artificial Intelligence от Европейского института телекоммуникационных стандартов (ETSI). Узнал про эти документы случайно, когда коллега из OWASP John Sotiropoulos поделился тем, что участвовал в выпуске TS 104 223 «Baseline Cyber Security Requirements». Сейчас у ETSI уже 10 разных документов на тему безопасности ИИ, и неудивительно, что многие из них устарели почти сразу после анонса в 2024 году.

Подробнее про отличия, практическую применимость отчётов и саму организацию ETSI читайте в новой статье на Хабре.

p.s. Тимур Низамов из Security Lab, спасибо за помощь в редактуре.

Подкаст AI Security Lab | Выпуск 2: Как протестировать безопасность AI-приложений?

В новом выпуске подкаста AI Security Lab, вместе с разработчиками @LLAMATOR и выпускниками курса Безопасность ИИ в ИТМО, обсудили тесты и атаки на системы с моделями генеративного искусственного интеллекта: промпт-инъекции, многоступенчатые атаки, галлюцинации VLM и DoS.

➡️ Смотрите на YouTube: https://youtu.be/7GyRzKAsN0M

Выпуск 1 про защиту LLM приложений: тут

Через час стартует вебинар про AI Red Teaming инструмент Llamator. Участники прошедшего курса по безопасности ИИ поделятся новыми атаками, которые они добавили в продукт, а разработчики расскажут о планах развития.

Подключайтесь по ссылке: https://us06web.zoom.us/j/82334897183?pwd=d91TXfJiYJ4v5zYZbJIr9slhWrZ6MC.1

🌟 DEMO DAY 2025 🌟

26–27 июня магистранты AI Talent Hub на открытом мероприятии представят более 100 проектов, созданных за время обучения.

Вас ждут:
🟢 CV, LLM, NLP, FinTech, Natural Science проекты.
🟢 Презентации стартапов, научных и индустриальных решений, реализованных с X5, Т-Банк, Ozon, AIRI и не только!
🟢 Интерактивная «прожарка» идей с участием экспертов.
🟢 AI Talent Conf – конференция для исследователей.
🟢 Презентации образовательных AI-продуктов .
🟢 AIбитуриент – встреча с командой AI Talent Hub для будущих студентов.

Почему стоит прийти:
💚 Увидите новейшие AI-разработки.
💚 Познакомитесь с сильными IT-специалистами.
💚 Узнаете больше о магистратуре AI Talent Hub.
💚 Станете частью большого события для AI-комьюнити.

➡️ Регистрируйтесь, чтобы увидеть, чем живет AI сегодня и чем станет завтра ⬅️

#DemoDay2025 #AITalentHub #NapoleonIT

Проекты участников нашей лаборатории тоже будут 🚀

Впереди нас ждут насыщенные выходные 🔥

Приглашаем на новый выпуск открытого подкаста AI Security Lab «Как протестировать безопасность AI-приложений?»

Ответят 15 июня 15:00 – 16:00 МСК (онлайн) магистранты AI Talent Hub ИТМО и выпускники курса Безопасность ИИ:
👍 Роман Неронов и Никита Иванов – разработчики @LLAMATOR
🤖 Эдуард Поляков и Владислав Славкин – исследователи промпт-инъекций LLM на генерацию токсичного контента и DoS
📸 Илья Тамбовцев и Святослав Иванов – разработчики тестов VLM на галлюцинации и состязательные атаки

Регистрация 👉 на TimePad

Обсудим новые методы тестирования безопасности ИИ-приложений автоматизированными промпт-атаками, которые могут привести к генерации токсичного контента, утечке системных инструкций, введению в заблуждение и отказу в обслуживании

В последнее время анализируя множество исследований, статьей по теме - ощущаю нехватку того что меры которые предлагаются для защиты не содержат как правило проактивного характера.

У нас есть классический cyberkillchain. Mitre попытались отобразить его в своём фреймворке Atlas - несколько этапов от начального рекона до эксфильтрации и т.д. Это круто, но как мне кажется - знания о защите должны также быть, не хуже да и вообще быть изложены в структурированном виде. А то всё об угрозах да и об угрозах - а как защищать, когда атака уже идёт ? Говорить "не использовать MLFlow" или другое решение выглядит обсурдным.

Поэтому с начала марта я задумался о том как можно было бы представить anti cyberkillchain, да так чтобы он ещё укладывался в ландшафт ML.

я закомитил свои наработки по теме сюда

https://github.com/wearetyomsmnv/ML-Defense-Matrix

это матрица противодействия разным этапам, как мне самому кажется - это очень верхнеуровневый документ, его определённо надо дорабатывать с коллегами которые строят защиту - поэтому призываю вас принять участие, дать комменты(только обоснованные) - чтобы сделать проактивную защиту ML лучше. Не всегда можно покрыть риски только на этапе разработки. Это печалит.

О чём документ: В нём я изложил меры по защите(очень поверхностно, думаю буду прорабатывать их в соответствии с публикациям на arxiv) которые можно использовать на разных этапах - защита от разведки, защита от исполнения кода и тд. В перспективе добавить тему уже услышанную всеми - это агенты.

Инциденты уже шагают, угрозы уже изучены и задокументированы - но вот защита ... С этим всё слабо кмк. Прошу репост, тех кто заинтересован в развитии такой истории.

Воскресенье посвятим полезным материалам. Автор канала @pwnai Артём Семенов создал репозиторий с мерами защиты моделей ИИ: от классического ML до генеративного AI — начиная с очистки данных, заканчивая конституционными классификаторами от Anthropic. Очень полезное начинание, приглашаем экспертов и энтузиастов присоединяться и контрибьютить

Знания двигают сообщество 🚀

🌼 Первое мероприятие лета, которое прокачает тебя по полной!

AI Talent Weekend × Raft

На лекциях и практике разберем тренды в ИИ, научимся работать с нейросетями и LLM, решим реальный кейс от Raft и создадим свой AI-проект. В финале — защита решений, мерч и возможность поработать в AI Security Lab до поступления.

📱 Перешли друзьям из Ярославля, чтобы они не пропустили это событие.

📌Зарегистрироваться
14–15 июня | Ярославль

#AITalentHub #AITalentWeekend

Встречаемся в Ярославле! 🔥

Сейчас в Москве проходит CTO Conf X 2025

Мы с hivetrace.ru тоже участвуем — приходите пообщаться. Расскажем, как защитить большие языковые модели (LLM), обсудим тренды в сфере ИИ и безопасности.

На стенде вас ждет интерактив: попробуйте взломать LLM. Кто знает, может, именно вы найдёте уязвимость и станете обладателем милого осьминога 🐙

До встречи!