Сэм Альтман прямо назвал «реальной проблемой безопасности» попытки приписывать моделям религиозную силу и уступать им человеческое суждение. Axios связывает это заявление с Anthropic: Крис Ола обсуждает с религиозными лидерами сознание моделей, моральное поведение и способы закрепления ценностей в ИИ.
⠀
На фоне позиции Anthropic эта полемика выводит наружу знакомую границу. В мае мы писали, что религиозные традиции входят в область моральной юрисдикции над ИИ. Сейчас Anthropic в своей Конституции оставляет открытым вопрос морального статуса Claude и развивает практики благополучия моделей, а Альтман относит передачу модели нормативного авторитета к рискам безопасности.
⠀
Религиозная традиция появляется и на другой стороне этой границы. Дин Болл, глава Strategic Futures в OpenAI, в июле писал, что для дальнейшего движения в политике ИИ ему пришлось читать Талмуд. В этом случае традиция становится источником для человека, который проектирует правила, а нормативный центр остаётся человеческим.
⠀
Такое разделение будет всё заметнее входить в реальные процедуры ведущих лабораторий. Одни правила будут определять обращение с возможным внутренним состоянием модели, другие — закреплять человеческое право остановить систему, изменить её цели и удержать за людьми последнюю нормативную инстанцию.
⠀
Это распределение функций расширяет само понятие безопасности ИИ. Речь идёт о распределении моральной власти между человеком и машиной: кто задаёт норму, кто её толкует и чьё решение остаётся окончательным в системе, способной действовать всё более самостоятельно.
⠀
Психоистория #ИИ #OpenAI #Anthropic