На 2025 год нам обещают волну компьютерных атак класса data poison. Отравление данных — это когда кто-то специально изменяет датасеты, которые используются для обучения систем искусственного интеллекта (ИИ), ML, чтобы заставить эти системы работать неправильно или выдавать неверные результаты.
Что может быть:
1. Неправильная маркировка. Атакующий может изменить метки данных.
2. Добавление вредоносных данных: В обучающие данные можно добавить специально созданные примеры, которые заставят систему принимать неверные решения.
Т.е. не DROP DATABASE, а добавляем в датасет несколько тысяч строчек, меняем чуток классы и опа, на наш паспорт бомжа выдают кредит в несколько миллионов рублей. Ну или прогнозные модели по погоде, транспорту начнут давать неверные результаты. Или ПО для автоматического выявления угроз в сети компании начнёт не замечать наш троянчик. Или копилот в IDE будет выдавать заведомо дырявый код. Чем дальше пойдёт внедрение AI/ML, тем больше будет таких атак.
Как защититься ? Хранить статистики, контрольные суммы, сличать, смотреть выбросы. Думать.
Post #3738
3.31K
- 🔥 16
- 🤔 10
- 👍 5
- ❤ 2