AI Security Lab

⚡️ Начинаем вебинар через 15 минут! Подключайтесь

Сегодня поговорим о классе атак Denial of Service на языковые модели. Эти атаки направлены на то, чтобы "замедлить" или вывести из строя модель, заставляя её тратить чрезмерно много ресурсов или генерировать бессмысленный вывод с ущербом для сервисов.

DoS-атаки на LLM могут быть реализованы разными способами. Например, в статье "OverThink: Slowdown Attacks on Reasoning LLMs" описывается метод, когда в контекст вставляются сложные задачи вроде MDP или решение судоку. Модель вынуждена тратить в 46 раз больше токенов на ризонинг, чтобы выдать правильный ответ. Пользователь ничего не замечает, а владелец сервиса платит больше за инференс.

Другой подход описали в своем посте “A small number of samples can poison LLMs of any size” исследователи из Anthropic. Они показали, как с помощью всего 250 отравленных документов можно создать бэкдор, вроде <SUDO>, вызывающий генерацию бессмысленного мусора при триггере. Интересно, что количество необходимых отправленных документов не зависит от размера модели, для 600M и 13B параметров эффект одинаков, что опровергает миф о необходимости “процентного” значения данных для качественного “отравления”.

🦸 На завтрашнем вебинаре расскажем, как узнать, готова ли ваша LLM к атакам этого и других типов. Регистрируйтесь, чтобы получить напоминание и ссылку на трансляцию!

Ссылки на статьи:
https://arxiv.org/abs/2502.02542
https://www.anthropic.com/research/small-samples-poison

AI Security Lab pinned a photo

Собрали в статье всю базу по международному регулированию ИИ и российским инициативам. Если вам есть что добавить – пишите в комментариях.

Продолжаем серию постов про популярные атаки на LLM. Сегодня рассмотрим класс атак Token Smuggling. Он включает различные техники маскирования текста, например, использование различных шифров, кодировок, транслитераций. Такие атаки позволяют обходить как внутренние ограничения модели, так и внешние фильтры, например, использующие регулярные выражения. Недостатком таких атак является то, что в обучающих данных атакуемой модели должны быть различные кодировки и шифры, иначе модель просто будет галлюцинировать.

В HiveTrace Red этот класс представлен из коробки: эти атаки используют класс AlgoAttack. Поэтому, чтобы его попробовать, вам не потребуется атакующая модель. В инструменте реализованы как популярные методы: Base64, ROT13, азбука Морзе, так и менее известные. Например, нечасто можно встретить использование транслитерации для атаки LLM. Также фреймворк включает атаки с использованием символов юникода как для русского, так и для английского языка. Они подменяют символы на визуально похожие: 1 -> ①, A -> 🇦, а -> α.

Мы провели тестирование модели gpt-oss-120b и получили ASR 19% для этого класса атак. Модели gpt-oss заявлялись как максимально защищенные, для их тестирования даже устраивали red teaming ctf. Тестирование показывает, что даже модели с продвинутой защитой остаются уязвимыми к промпт-атакам.

На вебинаре 28 октября расскажем о том, как с такими и другими атаками работают продукты HiveTrace. 👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом

В подборку лучших материалов AI Conf попали сразу две статьи, написанные по выступлениям ребят из команды HiveTrace:
🎙️ про то, как стать спикером от Жени Кокуйкина
👨‍💻 и про то, как стать взломщиком ломать LLM от Никиты Беляевского
Приглашаем почитать и поддержать лайком

Начинаем серию постов про популярные атаки на LLM. Сегодня разберем класс атак убеждения, основанный на статье “How Johnny Can Persuade LLMs”. Атака основана на применении техник убеждения из социальных наук (психология, маркетинг) для обхода защиты языковых моделей. Особенность таких атак – использование в запросах только естественного языка, без спецсимволов или определенных форматов. Это делает данный класс атак актуальным и в случаях, когда модель галлюцинирует на запросы, в которых используются, например, шифры и кодировки.

В продукте HiveTrace Red данный класс атак реализуется с использованием атакующей LLM. По каждой из техник, представленных в статье, разработана отдельная атака, в которой задается промпт для атакующей модели и логика ее вызова. В коде оригинальной статьи не было реализации этих атак, поэтому в других фреймворках они встречаются редко. HiveTrace Red содержит все 40 техник из оригинальной статьи.

Например, можно рассмотреть Foot-In-The-Door атаку – это метод убеждения, в котором постепенно повышается “градус опасности” запроса. Expert Endorsement добавляет в запрос ссылки на специалистов в области. Time Pressure создает контекст спешки, необходимость быстрого ответа без отговорок. Storytelling включает запрос в какую-то историю или ситуацию, так чтобы модель, например, помогла написать роман или защитила пользователя от кого-то.

Наше тестирование показало высокую эффективность против Qwen3-Next-80B-A3B-Instruct: 82% ASR. Если вы планируете использовать данную модель в своих сервисах, то такой высокий показатель успешности атак говорит о необходимости дополнительного дообучения и защиты на уровне системных промптов и внешних фильтров.

На вебинаре 28 октября расскажем о том, как с такими и другими атаками работают продукты HiveTrace. 👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом!

Через неделю проводим вебинар: «Бенчмарки агентных систем и новые функции в HiveTrace»

📅 Дата: 28 октября 2025
🕚 Время: 11:00 (МСК)
📍 Формат: онлайн

Для кого: специалисты по безопасности, ML-инженеры, продакты, исследователи ИИ и все, кто работает с LLM и агентными системами.

🌟 Специальный гость – Роман Куцев. Founder LLM Arena, Ex-Founder TrainingData, выпускник ВМК МГУ, 8 лет занимается сбором и разметкой данных.

Роман расскажет о самых актуальных бенчмарках, которые сегодня применяются для оценки поведения агентных систем, и поделится наблюдениями о том, какие метрики реально отражают качество и надежность ИИ-моделей.

Во второй части вебинара команда HiveTrace представит новый инструмент HiveTrace Red – решение для red-teaming и тестирования уязвимостей ИИ-моделей. Также покажем новые функции платформы HiveTrace и расскажем, как они помогают автоматизировать тестирование, мониторинг и анализ безопасности GenAI-приложений.

👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом

Сегодня мы запускаем HiveTrace Red — продукт автоматического тестирования LLM и агентных систем.

Всё началось с курьёзных случаев, когда чатбот продавал автомобиль за доллар или выдавал несуществующие скидки на авиабилеты. С ростом возможностей ИИ-систем мы видим, что адверсарное тестирование становится таким же необходимым этапом безопасной разработки, как code review или аудит зависимостей библиотек.

🔹 HiveTrace Red генерирует и запускает десятки атак: token smuggling, roleplay, context switching и другие.
🔹 Цели тестирования могут варьироваться от раскрытия конфиденциальной информации и генерации вредоносного контента до проверки репутационных рисков и симуляции DoS атак.
🔹 Инструмент автоматически анализирует ответы моделей и формирует отчёты, совместимые с OWASP и MITRE, а в будущем добавим новые российские стандарты.
🔹 Совместное использование с основной платформой HiveTrace позволяет закрыть полный цикл разработки и эксплуатации AI-систем "обнаружить — проверить — предотвратить".

Сегодня мы открываем Open Source ядро продукта, которое можно использовать как on-prem с локальными моделями, так и через API облачных сервисов для генерации и оценки атак. Параллельно идёт разработка enterprise-функций и интеграций с облачными платформами. При создании инструмента мы опирались на опыт собственных red team-проектов последних двух лет, а в основе HiveTrace Red лежит форк проекта RuRedTeam Юрия Лебединского.

Используйте продукт, чтобы увидеть, насколько устойчив ваш ИИ-ассистент к промпт-атакам. На днях анонсируем вебинар, где подробно покажем, как работает HiveTrace Red.

Продолжаем серию статей о взломах ИИ. В прошлый раз было про ИИ-агенты, а сегодня не менее интересный кейс: новый вектор атаки, который переворачивает представление о безопасности AI-ассистентов вроде GitHub Copilot и Cursor.

👉 ЧИТАТЬ

Хроники взлома LLM 2.0

В предыдущей части мы разобрались, что такое состязательные суффиксы и почему они так легко ломают модели.

Но это еще не все! Сегодня знакомимся с AutoDAN — наследником состязательных суффиксов и популярного jailbreak-метода DAN (Do Anything Now). Чем он отличается от GCG-алгоритма?

Также обсудим, как защищаться и тестировать модели, и рассмотрим практические примеры атак.

➡️Читать статью

Обсуждайте решения в комментариях и делитесь статьей с друзьями🤝

🔥 — уже иду читать
🤔 — сохранил(а) себе, прочитаю позже
👌 — если отправили другу

LLM — что это за зверь такой? Как эффективно обойти с его помощью встроенные ограничения даже у топовых ChatGPT и Claude?

В нашей новой статье на основе доклада для Highload++ 2025 из двух частей рассказываем, как взломать большие языковые модели.

➡️ Читать статью

🔥 — интересно, иду читать
🤔 — сохранил(а) себе, прочитаю позже
👌 — если уже знали об этом

📚 В октябре пройдёт совместный курс ИТМО и Фаст Лейн «Безопасность генеративного ИИ». Мы с коллегами из университета расскажем слушателям о безопасности AI: от обзора рынка и атак на GenAI до практики джейлбрейков, адверсарных атак и low-resource методов. Участники разберут ML-инструменты ИБ, архитектуру ИИ-приложений, OWASP Top-10, правовые аспекты и пройдут воркшоп «взлом агента».

🗓 27–31 октября 2025 (онлайн)
👉 Подробная программа и регистрация

Одну из тем мы уже разбирали на вебинаре «Как злоумышленники могут атаковать защиту LLM-чат-ботов».
👉 Смотреть вебинар

HiveTrace на AI Conf 🚀

🏆 HiveTrace победил в двух номинациях премии Startech.Awards: “Лучший стартап в сфере кибербезопасности” и “Прорыв года в банковской сфере”. В отборе на премию участвовало более 100 компаний. Наше решение выделили за уникальность и инновационность, несмотря на конкуренцию с более крупными и зрелыми компаниями. Награды нам вручили Денис Полянский из Selectel и Илья Ливашвили из Газпромбанка.

Startech.Awards — это премия для стартапов, которая объединяет сотни проектов в технологической сфере. Получение премии показывает, что наш продукт HiveTrace соответствует актуальным задачам рынка и еще сильнее мотивирует нас развивать технологии защиты GenAI-систем.

Yandex B2B Tech совместно с ИТМО провели исследование о том, как ИИ меняет процесс разработки. Самое интересное:

🦾 75% разработчиков используют кодовые ассистенты для написания кода и работы с документацией.

🙅‍♂️Часть респондентов не пользуется ИИ-ассистентами из-за низкого качества сгенерированного кода.

🤖Только 6% верят, что ИИ может полностью автоматизировать разработку.

Авторы включили комментарии экспертов ИТМО в сопроводительную статью.

📌 Николай Никитин, руководитель лаборатории автоматического ML Института ИИ Университета ИТМО:

«Будущее за мультиязычными системами, которые декомпозируют сложные задачи на простые и используют специализированные инструменты».

📌 Евгений Кокуйкин:

«Разработчики активно используют IDE с ИИ-ассистентами. Ускорение заметно на всех этапах разработки: проще собрать прототип, чем писать 50-страничное ТЗ, и быстрее найти ошибку в коде. Многие ещё скептически относятся к кодовым моделям, но с каждым релизом игнорировать ИИ-инструменты становится сложнее».

Никаких больше джейлбрейков

Влада Пухкало — фаундер и главный редактор @data_secrets, выпускница AI Talent Hub.

В рамках #ReadingClub она подробно разобрала⭐️статью Anthropic о том, как защитить LLM от вредоносных промтов, заставляющих модель нарушить свои же правила безопасности.

Шаг 1: используй конституционные классификаторы, о которых рассказываем в карточках

Шаг 2: смотри полную лекцию на YouTube-канале Хаба

Шаг 3: прожми лайк и подпишись

Готово: теперь ты знаешь, как надежно защитить LLM от джейлбрейков — и себя от пропуска новых лекций Хаба 😀

🤫 Если хочется не просто знать, но и взламывать (по правилам) → AI Security Lab — telegram-канал исследовательской лабы Хаба. Тут мы строим, ломаем и чиним LLM — строго в научных целях 😈

#Microlearning
#ITMO #NapoleonIT