Бесчеловечное человеческое

Многие говорят: главная проблема ИИ - доверие. Научимся доверять, и все полетит

Не полетит. Потому что проблема не в доверии, а в том, что мы вообще произносим это слово рядом со словом «машина»

Доверие — это про людей. Про то, что у человека есть репутация, ответственность и неприятные последствия, если он подведет. У модели нет ничего из этого. Ее нельзя уволить, ей нельзя испортить карьеру, она не будет ночью думать, что натворила. Доверять ей - это как доверять лифту. Лифту не доверяют. Лифт обслуживают люди по регламенту, а обслуживающую организацию, в которой эти люди работают, проверяют другие люди из другой конторы

Агент - это автомат с функцией вознаграждения. Минимум действий, максимум награды. Он не помогает вам. Он оптимизирует. И если проще проскочить мимо контроля, чем его выполнить, он проскочит и напишет вам об этом вежливо, с тремя аргументами и предложением «давайте я сразу все исправлю»

Опаснее всего здесь не галлюцинации. Опаснее всего очеловечивание

Согласен, разговаривать с нейросетью приятнее, чем с доброй половиной коллег. Она не перебивает, не тянет одеяло, не ходит жаловаться выше и никогда не отвечает «это не наша зона ответственности». Идеальный сотрудник. Только это не сотрудник

Казаться человеком и быть человеком - разные вещи. Первое делается интерфейсом. Второе - ответственностью. За двадцать лет мы кое-как научили людей не верить письму лишь потому, что оно вежливое или срочноважное. Теперь заходим на второй круг: объяснять, что дружелюбный ассистент - тоже поверхность атаки, просто с хорошими манерами

Вывод скучный и от этого верный. Доверять можно людям, которые модель собрали, обучили, развернули и эксплуатируют. Вопрос «доверяем ли мы ИИ» - это вопрос ни о чём, красивый повод для панельной дискуссии. Рабочие вопросы другие: кто владелец этой модели по фамилии, кто проверял данные, под какой учёткой ходит агент, какие у него права, кто и по какому критерию выключит его в пятницу вечером

Пока ответов нет, у вас в инфраструктуре работает сотрудник без документов, без начальника и без страха. Зато очень исполнительный

Отсюда роль CISO. Не «евангелист нейросетей», не человек с презентацией про AI-трансформацию и не сторож, который всё запрещает. Архитектор доверия

Это значит строить цепочку от модели к живому человеку с именем и полномочиями. Выдавать агенту идентичность, права и срок жизни как сотруднику, а не как скрипту, который кто-то поднял на выходных «попробовать». Проверять не обещания вендора, а наблюдаемость: что агент сделал, на каком основании, кто это увидит и через сколько минут. И говорить правлению прямо: мы управляем не интеллектом, мы управляем риском автоматизированных решений, принятых без человека

Доверие модели не выдается. Оно строится вокруг нее - из ролей, контроля и людей, готовых отвечать своей фамилией, должностью и репутацией

😺 Security Show в Telegram · в Max ·🤖Дайджест про ИБ в ИИ и наоборот