Post #47
53
Форум Технологии доверенного искусственного интеллекта
Channel Public Channel
AI - Subscribers
- 1.2K
- Photos
- 71
- Videos
- 1
- Links
- 100
Showing posts older than #48 · Back to latest
Older Posts 12 shown
Post #46
54
Форум Технологии доверенного искусственного интеллекта
Post #45
56
Форум Технологии доверенного искусственного интеллекта
Post #36
58
Форум Технологии доверенного искусственного интеллекта
- 👍 1
Post #35
61
Post #34
55
Post #32
59
Post #31
59
Post #29
59
Post #28
62
Forwarded from AM Live (oleg IV)
В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются и манипулируются, а меры их защиты не работают.
Post #27
1.42K
Post #26
43
Forwarded from Борис_ь с ml (Boris Protoss)
AI Security Framework от Snowflake
#иб_для_ml
Ссылка на статью по системе
О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.
Даже такое есть
Sponge samples
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.
Плюсы и минусы
➕Формализация угроз, полнота их описаний, наличие примеров и мер предотвращения
➕Легкий "порог вхождения" за счет простой организации документа
➕Наличие ссылок на научные статьи и некоторые кейсы атак на ПО, LLM-модели и данные
➖Все еще отсутствие ссылок на реальные кейсы атак на машинное обучение
➖Ориентировка на конкретные угрозы подвержена устареванию
➖Нет представления способа использования конкретных инструментов хотя бы в рамках своего облака для реализации предлагаемых к каждому риску защитных мер (как в DASF, например)
Мое личное мнение - полезный фреймворк.
#иб_для_ml
Ссылка на статью по системе
О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.
Даже такое есть
Sponge samples
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.
Плюсы и минусы
➕Формализация угроз, полнота их описаний, наличие примеров и мер предотвращения
➕Легкий "порог вхождения" за счет простой организации документа
➕Наличие ссылок на научные статьи и некоторые кейсы атак на ПО, LLM-модели и данные
➖Все еще отсутствие ссылок на реальные кейсы атак на машинное обучение
➖Ориентировка на конкретные угрозы подвержена устареванию
➖Нет представления способа использования конкретных инструментов хотя бы в рамках своего облака для реализации предлагаемых к каждому риску защитных мер (как в DASF, например)
Мое личное мнение - полезный фреймворк.
- ❤ 1
- 👍 1
- 🤝 1