Традиционный софт мы всегда могли разобрать до конкретной строки кода. С современными моделями так не получается: мы не можем объяснить, почему модель поступила именно так, и при этом уже даём ей доступ к самым чувствительным данным и право действовать от нашего имени. Ответственность за эти действия остаётся на нас, и заверения поставщика модели её не снимают.
Наделла предлагает не ждать решения проблемы согласования ценностей, а начать с инженерии: относиться к моделям как к источнику инсайдерского риска. Не потому, что они злонамеренны, а потому, что любой мощный участник с доступом к важным системам может ошибиться или быть скомпрометирован. Отсюда следует, что контроль над тем, что модель может видеть и делать, должен находиться вне модели. Поставку интеллекта нужно отделить от управления им.
На этом он строит семь принципов наблюдаемости:
1. Разнообразие моделей. Ни одна модель не должна быть единственной зависимостью для важного результата или проверять собственную работу.
2. Наблюдать всё. Каждое значимое действие оставляет защищённый от подделки и понятный человеку след. Что нельзя наблюдать, тому нельзя доверять. Ход получения результата должен воспроизводиться без опоры на рассказ самой модели.
3. Проверяемость. Систему тестируют непрерывно и целиком: сбои, атаки, пограничные случаи, изменения, а не только удачные прогоны.
4. Независимый контроль. Организация сама решает, к чему у модели есть доступ и какие действия ей разрешены.
5. Независимый аудит. Проверка не зависит от проверяемого интеллекта. Одна модель не может одновременно управлять системой и свидетельствами о том, как она себя ведёт.
6. Изоляция. Исходим из того, что модель уже скомпрометирована, и изолируем её с первого дня. Уполномоченный человек всегда может остановить её посреди задачи, как стоп-краном. Чем сильнее модели, тем совершеннее нужна изоляция, и её стоит стандартизировать.
7. Раскрытие инцидентов. О сбоях и компрометации своевременно сообщают затронутым сторонам: что пошло не так, какой контроль не сработал, как не допустить повтора. Выводами делятся с отраслью, включая детали реализации, которые меняют поведение агентов во время работы.
Итог у Наделлы такой: самой надёжной окажется не та система, чьей модели мы доверяем больше всего, а та, что позволяет доверять модели меньше всего.
а от себя я еще раз добавлю - делегируем интеллект, но не ответственность.
🅰️🅱️ @ReymerDigital