AI Attacks

Разбираемся в AI проектах OWASP: обзор для разработчиков и ИБ-специалистов
#owasp #ai #нейросети

OWASP — некоммерческая организация, которая занимается выпуском руководств и фреймворков в области безопасности. В условиях активного внедрения генеративного ИИ в самые разные сферы, OWASP анонсировал больше десяти разных проектов, чтобы охватить новые угрозы и привлечь внимание к безопасности AI-систем. Ниже расскажу про основные инициативы и документы, которые могут пригодится в работе тимлидам, разработчикам и специалистам по информационной безопасности.

На первый взгляд в глаза бросается обилие проектов, документов и рекомендаций. Материалы в отчётах пересекаются и запутаться в инициативах OWASP — легко. Связано это с тем, что проекты ведут разные команды и лидеры. В OWASP более 1000 человек только в slack-канале и около 100 активных участников.

🔗Читать дальше

🌚 @poxek | 🌚 blog.poxek.cc | 📺 YT | 📺 RT | 📺 VK

Киберщит. Искусственный интеллект и кибербезопасность

Год: 2024
Автор: Медведев М. А.
Язык: Русский

Ежедневно в мире происходит более 2 тысяч кибератак. Кибербезопасность входит в число отраслей, которым в ближайшие 5 лет прогнозируют невероятный рост. Она обеспечивает защиту компьютерных систем, сетей, программ и данных от киберугроз (хакерских атак, вирусов, вредоносного ПО и др.). Несмотря на полезность искусственного интеллекта, не следует игнорировать факт, что технологии искусственного интеллекта и их применение могут подвергнуть организации новым, а иногда и непредсказуемым, угрозам и открыть новые возможности для
злоумышленников.

#ru #Security #book

✅Наш Компьютер

АЙТИ КРАЙМ
https://soundstream.media/playlist/ayti-kraym

AI Red Teamer Job Role Path, in collaboration with Google. (2025)

Программа AI Red Teamer Job Role Path, разработанная совместно с компанией Google, готовит специалистов по кибербезопасности к оценке, эксплуатации и защите систем искусственного интеллекта. Охватывая такие темы, как оперативное внедрение, атаки на конфиденциальность моделей, враждебный ИИ, риски в цепочке поставок и угрозы развертывания, программа сочетает теорию с практическими занятиями. Согласованный с Secure AI Framework (SAIF) от Google, он обеспечивает актуальность реальных проблем безопасности ИИ. Учащиеся получат навыки манипулирования поведением моделей, разработки стратегий «красной команды», ориентированных на ИИ, и проведения наступательных испытаний безопасности приложений, управляемых ИИ. Курс будет постепенно расширяться за счет смежных модулей вплоть до его завершения.

#cours

Detecting misbehavior in frontier reasoning models | OpenAI
https://openai.com/index/chain-of-thought-monitoring/

Новый #ПроектНедели, разработанный в рамках совместной лаборатории AI Talent Hub х Raft — AI Security Lab 🪙

Hivertrace — это платформа для непрерывного мониторинга безопасности AI-систем.

▶️ Выявляет аномалии и ошибки в пользовательских взаимодействиях с LLM;
 
▶️ Выявляет атаки, нацеленные на изменение поведения модели, кражу чувствительной информации и системных инструкций;

▶️ Осуществляет очистку сообщений от персональных данных — и не только!

Подробнее о функционале и фичах проекта читай в карточках.

Попробовать HiveTrace:
➡️ Лендинг
➡️ Демо

✈️ Cледить за обновлениями: @aisecuritylab

🎤 Богдан Минко, ML Engineer HiveTrace 🔽

#ПроектНедели
#AITalentHub #ITMO #NapoleonIT

NIST готовит рекомендации по адаптации NIST CSF при защите ИИ. И подготовила концептуальный документ с обоснованием почему для ИИ нужен специальный поход в стандартах.

https://www.nccoe.nist.gov/projects/cyber-ai-profile

Channel photo updated

Проводим самые прорывные исследования — и делаем вклад в мировую науку 🧑‍🎓

Наши ребята из Лаборатории машинного обучения Альфа-Банка написали уникальную научную работу — об атаках на искусственный интеллект и техниках его защиты. Это исследование на уровне ведущих международных институтов 🦾

Работу опубликовали на главном научном сайте в мире — arXiv. А наших ребят пригласили на международную конференцию для учёных — ICDM 2024: IEEE International Conference on Data Mining в Абу-Даби.

Гордимся достижениями и продолжаем создавать науку будущего ❤️

Редактор канала: своими шутками делает вклад в мировой стендап 🤩

@alfabank

#technique #llm

Alignment faking in large language models

https://arxiv.org/abs/2412.14093v1