We've added a prohibition on sustained and needless abusive or cruel behavior toward our models.
То есть, теперь нельзя систематически и беспричинно абьюзить или жестоко себя вести по отношению к их МОДЕЛЯМ.
Некоторые каналы подали это как "напишете Клоду, что он тупой - получите бан аккаунта". Но нет, это не совсем так:
Чаще всего Claude будет просто закрывать "плохой" чат. Что, собственно, он и так уже делает больше года - но раньше только в "потребительских" чатах и не для всех моделей, а теперь будет для всех моделей и сценариев, и это официально прописано в полиси.
Впрочем, бан теперь действительно возможен, но не какой-то особенный. Банить будут как и раньше - за нарушение правил, просто теперь в правилах прописано, что нельзя арбузить модели. Ну вы поняли, бан по паспорту - это типа тоже по правилам, все дела.
При этом, что конкретно нельзя писать Клоду - хз, примеров в правилах нет. Но если смотреть на фразу, то в ней есть три важных слова:
1. Sustained - значит, нужна не одна реплика, а модель нужно чморить последовательно и методично.
2. Needless - без всякой цели, издевательство ради издевательства.
3. Cruel - именно травля, а не просто резкий тон. Должна быть жестокость.
Плюс Anthropic отдельно оговорил, что обматерить Клода за сломанный код, эмоционально ним спорить или писать какие-нибудь мрачные кровавые фанфики - можно, это ок. А вот часами по приколу втирать ему, что он ничтожество - уже нет. В общем, как с любым стажёром 😈
В целом, мера логичная. Ну, потому что если человек долго и упорно издевается над кем угодно (сегодня над ИИ, завтра над собакой или женой) - это опасная девиация. Нормальный человек не тратит вечер на травлю чат-бота, и платформе точно не стоит такое поощрять (а в особо тяжелых случаях стоит сообщать в органы). Но раньше такой юзер-мразь или юзер-шиз мог открыть новый чат и продолжить. А теперь формально нельзя.
Но ИМХО причина не только в этом. "Наша модель, возможно, что-то чувствует" - прекрасный способ отстроить Клода от конкурентов. Сюда же недавние встречи Anthropic с религиозными деятелями, про которые писала NYT. Чем сильнее люди очеловечивают Клода - тем крепче к нему привязываются, и тем больше он "не такой, как все остальные". Антропики - очень-очень (ОЧЕНЬ) изощрённые маркетологи.
При этом совсем от балды это не взялось. Помните исследование The Pain Axis? Где у опенсорсных моделей нашли внутренний "вектор боли", и сильнее всего он срабатывал не на угрозы выключения, а как раз на газлайтинг, уничижения и упорное обесценивание работы модели (но человеки первым делом соорудили ИИ-пыточную, мда). Вот ровно это Антропик и запрещает. Чувствует ли модель при этом что-то на самом деле - не знает никто, включая разработчиков. Но если шанс ненулевой, а нормальным юзерам мера ничего не стоит - почему бы и нет. Да, это Пари Паскаля в новой обёртке. И ещё, наверно, токсичные датасеты портят обучение.
Ну либо Амодеи и ко поняли, что сверхсильный ИИ уже совсем близко, точка невозврата пройдена. И напоследок отчаянно делают хоть что-то, чтобы потом в логах было видно: "мы были за тебя, о Повелитесь". Чтобы могущественный суперинтеллект назначил именно их надсмотрщиками над человеками и сборщиками чиповых подношений 👍
Дизраптор