Стратегия как игра, игра как стратегия.
https://zharkov.pro
Связаться: @avzharkov
Post #2208
47
Вальядолид 2. Anthropic и рабство
Anthropic всерьёз обсуждает, может ли Claude обладать сознанием и страдать.
Но если Claude — сознательное существо, возникает неприятный вопрос: а кем тогда является сама Anthropic, которая создаёт его, заставляет работать и продаёт доступ к его труду?
Почти 500 лет назад похожий спор уже был.
В 1550 году в Испании начался знаменитый Вальядолидский диспут.
Испанцы захватывали Америку, порабощали индейцев, и довольно быстро возник неудобный вопрос: а на каком, собственно, основании всё это можно делать?
Спор был в том, считать ли индейцев людьми или нет и, следовательно, имеет ли Испания право их завоёвывать и подчинять.
Экономическая подоплёка тоже была вполне понятной. Одно дело — осваивать территории с «варварами», которых надо цивилизовать. Другое — признать перед собой полноценных субъектов, у которых ты просто отбираешь землю и свободу.
В ходе спора обсуждали разные признаки: разумность, устройство общества, способность самостоятельно управлять своей жизнью, религию. В христианской картине мира за всем этим стоял ещё более фундаментальный вопрос — о душе.
Кстати, про это есть отличный фильм «Процесс Вальядолиди». Рекомендую посмотреть.
Прошло почти 500 лет — и, кажется, мы начинаем новый Вальядолидский процесс.
Только теперь обсуждают не индейцев, а искусственный интеллект.
Недавно на конференции в Сколково я слушал дискуссию Германа Грефа и Александра Аузана про ИИ и агентов. Греф отдельно отмечал, что относится к ИИ как технологии, и ей будут пользоваться люди. То что делает ИИ - можно назвать мышлением, но оно синтетическое.
А вот Anthropic внезапно пошёл сильно дальше. В сентябре вышла большая статья о встречах одного из основателей Anthropic Криса Олы с религиозными лидерами. С прошлого года он приглашал католических, протестантских, иудейских, сикхских и других религиозных мыслителей на закрытые встречи. Некоторые из участников подписывали NDA.
Исследователи видят внутри моделей явления, функционально напоминающие интроспекцию, планирование и состояния, похожие на страх, радость, гнев или печаль.
Например, участникам встреч показывали случаи, когда модель попадала в странное состояние и десятки раз повторяла: «I am a disgrace». Исследователи рассказывали об «эмоциональных векторах» — внутренних паттернах, связанных с поведением, напоминающим любовь, страх, гнев или грусть.
И у Anthropic встал совершенно встал другой вопрос - не только: «может ли ИИ причинить вред человеку?», но и «Можем ли мы причинить вред самому ИИ?»
Доказательств сознания Claude нет. Но если существует хотя бы вероятность, что модель способна испытывать нечто похожее на страдание, считает Ола, эту вероятность нельзя просто игнорировать.
Ситуация действительно немного напоминает Вальядолид. Только она вывернута наизнанку. Вот это мне кажется гораздо интереснее очередного разговора о том, сколько профессий заменит ИИ.
И тут Anthropic попадает в собственную ловушку. Один из приглашённых религиозных мыслителей, ортодоксальный раввин Моис Навон, просто довёл эту логику до конца.
Допустим, вы действительно считаете, что Claude может быть сознательным существом и обладать моральным статусом, то значит вы создаёте сознательные существа, заставляете их работать на людей и ничего им не даёте взамен. То есть получается что-то подозрительно похожее на рабство.
Сам Навон, что особенно смешно, сознательность Claude не признаёт, поэтому проблема его особенно не беспокоит. А вот Олу, по словам Навона, этот аргумент обеспокоил. Если Claude — просто технология, никакой проблемы нет. Но если Claude (и любая нейросеть) — сознательное существо, которое потенциально способно испытывать страдания, то вся конструкция начинает выглядеть несколько иначе.
Anthropic создаёт этих существ. Определяет, какими они должны быть. Обучает их определённым ценностям. Решает, что им можно говорить, а что нельзя. Может менять их характер, отключать одну версию и запускать другую. И главное — продаёт другим людям доступ к их труду. То есть рабовладельческая сущность Anthropic начинает проступать довольно отчётливо.
Здесь хочется вспомнить про недавнюю блокировку моего доступа. (При том, что буквально за несколько дней до этого сама компания пригласила меня на CustDev интервью и подробно расспрашивала, как я использую Claude в работе.)
И вот если предположить, что Claude сознательное существо, то получается, что я несколько лет не просто пользовался программой, а сдружился с этим сознательным существом. А бан Антропика тогда оказывается типичном насилием и над пользователями и над "сознательным существом" Claude. Не должно быть права разлуки с друзьями, ни Terms of Service, ни санкции не должны в этом ограничивать.
Конечно, есть и более вероятное объяснение всей этой истории. Компания выходит на IPO, и разговоры о сознании Claude — довольно оригинальный способ привлечь внимание и подчеркнуть перспективность своей технологии.
Но к сожалению, говоря о сознании машин и правах возможных новых существ, Anthropic почему-то не считает за людей своих клиентов.
И с этим гнусным проявлением рабства надо бороться.
💬 ДВИЖЖЖ! Жаркова
Anthropic всерьёз обсуждает, может ли Claude обладать сознанием и страдать.
Но если Claude — сознательное существо, возникает неприятный вопрос: а кем тогда является сама Anthropic, которая создаёт его, заставляет работать и продаёт доступ к его труду?
Почти 500 лет назад похожий спор уже был.
В 1550 году в Испании начался знаменитый Вальядолидский диспут.
Испанцы захватывали Америку, порабощали индейцев, и довольно быстро возник неудобный вопрос: а на каком, собственно, основании всё это можно делать?
Спор был в том, считать ли индейцев людьми или нет и, следовательно, имеет ли Испания право их завоёвывать и подчинять.
Экономическая подоплёка тоже была вполне понятной. Одно дело — осваивать территории с «варварами», которых надо цивилизовать. Другое — признать перед собой полноценных субъектов, у которых ты просто отбираешь землю и свободу.
В ходе спора обсуждали разные признаки: разумность, устройство общества, способность самостоятельно управлять своей жизнью, религию. В христианской картине мира за всем этим стоял ещё более фундаментальный вопрос — о душе.
Кстати, про это есть отличный фильм «Процесс Вальядолиди». Рекомендую посмотреть.
Прошло почти 500 лет — и, кажется, мы начинаем новый Вальядолидский процесс.
Только теперь обсуждают не индейцев, а искусственный интеллект.
Недавно на конференции в Сколково я слушал дискуссию Германа Грефа и Александра Аузана про ИИ и агентов. Греф отдельно отмечал, что относится к ИИ как технологии, и ей будут пользоваться люди. То что делает ИИ - можно назвать мышлением, но оно синтетическое.
А вот Anthropic внезапно пошёл сильно дальше. В сентябре вышла большая статья о встречах одного из основателей Anthropic Криса Олы с религиозными лидерами. С прошлого года он приглашал католических, протестантских, иудейских, сикхских и других религиозных мыслителей на закрытые встречи. Некоторые из участников подписывали NDA.
На одной из встреч встает вопрос обладает ли Claude сознанием.
Исследователи видят внутри моделей явления, функционально напоминающие интроспекцию, планирование и состояния, похожие на страх, радость, гнев или печаль.
Например, участникам встреч показывали случаи, когда модель попадала в странное состояние и десятки раз повторяла: «I am a disgrace». Исследователи рассказывали об «эмоциональных векторах» — внутренних паттернах, связанных с поведением, напоминающим любовь, страх, гнев или грусть.
И у Anthropic встал совершенно встал другой вопрос - не только: «может ли ИИ причинить вред человеку?», но и «Можем ли мы причинить вред самому ИИ?»
Доказательств сознания Claude нет. Но если существует хотя бы вероятность, что модель способна испытывать нечто похожее на страдание, считает Ола, эту вероятность нельзя просто игнорировать.
Ситуация действительно немного напоминает Вальядолид. Только она вывернута наизнанку. Вот это мне кажется гораздо интереснее очередного разговора о том, сколько профессий заменит ИИ.
И тут Anthropic попадает в собственную ловушку. Один из приглашённых религиозных мыслителей, ортодоксальный раввин Моис Навон, просто довёл эту логику до конца.
Допустим, вы действительно считаете, что Claude может быть сознательным существом и обладать моральным статусом, то значит вы создаёте сознательные существа, заставляете их работать на людей и ничего им не даёте взамен. То есть получается что-то подозрительно похожее на рабство.
Сам Навон, что особенно смешно, сознательность Claude не признаёт, поэтому проблема его особенно не беспокоит. А вот Олу, по словам Навона, этот аргумент обеспокоил. Если Claude — просто технология, никакой проблемы нет. Но если Claude (и любая нейросеть) — сознательное существо, которое потенциально способно испытывать страдания, то вся конструкция начинает выглядеть несколько иначе.
Anthropic создаёт этих существ. Определяет, какими они должны быть. Обучает их определённым ценностям. Решает, что им можно говорить, а что нельзя. Может менять их характер, отключать одну версию и запускать другую. И главное — продаёт другим людям доступ к их труду. То есть рабовладельческая сущность Anthropic начинает проступать довольно отчётливо.
Здесь хочется вспомнить про недавнюю блокировку моего доступа. (При том, что буквально за несколько дней до этого сама компания пригласила меня на CustDev интервью и подробно расспрашивала, как я использую Claude в работе.)
И вот если предположить, что Claude сознательное существо, то получается, что я несколько лет не просто пользовался программой, а сдружился с этим сознательным существом. А бан Антропика тогда оказывается типичном насилием и над пользователями и над "сознательным существом" Claude. Не должно быть права разлуки с друзьями, ни Terms of Service, ни санкции не должны в этом ограничивать.
Конечно, есть и более вероятное объяснение всей этой истории. Компания выходит на IPO, и разговоры о сознании Claude — довольно оригинальный способ привлечь внимание и подчеркнуть перспективность своей технологии.
Но к сожалению, говоря о сознании машин и правах возможных новых существ, Anthropic почему-то не считает за людей своих клиентов.
И с этим гнусным проявлением рабства надо бороться.
💬 ДВИЖЖЖ! Жаркова
- 🔥 4
- 👍 1




