На конференции по инфобезу в Душанбэ хорошо поговорили на трибуне и в кулуарах про вызовы для безопасности ИИ. С одной стороны, раз мы не понимаем, как он работает (неинтерпретируемость) то и непонятно, что там ломать. С другой, можно же атаковать дата-центры, подменять наборы данных для обучения. Плюс в процессе развития ИИ явно (как и мы) обзаведутся триггерами и неврозами, которые промтами буду ломать «службы безопасности». И ИИ агенты будут доверчиво переводить деньги на безопасные счета.
Есть, впрочем, ощущение, что как только появится модель монетизации взлома, жулики придумают неожиданный и нетривиальный путь.