Девушка-философ сделала душу для Claude

Знакомьтесь, на фотке Аманда Аскелл — философ и по совместительству специалист, который учит нейронки быть добропорядочными.

Она работала в OpenAI, но ей не понравилось, что Альтман плюёт на безопасность и этику, поэтому ушла в Anthropic, где вручную написала целую «Конституцию Claude» на 30 ТЫСЯЧ слов. Этот документ в открытом доступе, почитайте на досуге.

Можете благодарить Аманду, ведь только из-за неё самый мощный ИИ до сих пор не сошёл с ума. Вот, что она закладывает в душу нейросети:

• Безопасность — быть безопасным и поддерживать человеческий контроль
• Этика — вести себя этично
• Соответствие рекомендациям Anthropic — следовать руководствам компании
• Полезность — быть полезным для операторов и пользователей

В целом ничего нового вы для себя не узнали в этих пунктах, НО вспомнился мне тут Азимов с его «Тремя законами робототехники»:

• Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред
• Робот должен подчиняться приказам человека, если они не противоречат Первому Закону
• Робот должен заботиться о своей безопасности, если это не противоречит Первому и Второму Законам

Сформулированы они в 1942 году (почти век назад) в произведении «Хоровод» и очень похожи на те, что сейчас Аманда пишет для наших современных ИИ.

У меня просто нет слов 🚬

Пет-проект