Ben Mann, кофаундер Anthropic AI, на днях дал 30% вероятности, что Claude можно зафайнтюнить прямо сейчас так, что она сможет реплицироваться и распространяться самостоятельно, что приведёт к "thousands of deaths or hundreds of billions in damage".

Ну наверное, если LLM сможет разобраться с колмогоровской сложностью (длина самого короткого промпта, который даст эффект). И это новая причина, на которую теперь можно сваливать эпичные сбои вроде вчерашнего. У меня после него ютуб внезапно заработал :) Хотя, уверен, ненадолго, осенью забанят и телеграм, и гугл, и стим, и всё остальное.

В ЦРУ сейчас наверняка массово раздают премии и награды своим агентам влияния: в торе (который и был исходно разработан военными для обмена разведданными) после блокировки ютуба 50% всех пользователей стало из России. И ещё 20% из Ирана.

=

Легендарный кибернетик Грегори Бэйтсон ("Ангелы страшатся", "Групповая динамика шизофрении"...) разработал многократно подтверждённую и в психологии, и в антропологии, и в экологии, и в социологии, и в программировании, концепцию double-bind: когда противоречивые послания и требования могут вызывать патологические вторичные эффекты как у людей (шиза), так и у общества в целом. И микро-, и макро-системы обладают саморегулирующимися свойствами, и вмешательства, не учитывающие вторичные эффекты, могут привести к разрушительным результатам. Эти эффекты могут быть как краткосрочными, так и долгосрочными, и часто они оказываются непредсказуемыми и нежелательными. Он также отмечал, что внимание к этим вторичным эффектам крайне важно для эффективного управления любой системой.

"Наша главная ошибка — это мысль, что мы можем разделить мир на части и считать, что каждая из этих частей существует отдельно. Но на самом деле всё связано, и изменения в одной части системы неизбежно приводят к изменениям в других частях."

Программисты, помните ↑↑↑

Скоро выложу в СильныеИдеи материал ровно об этом, что делать/как предупредить, если ваша система внезапно начала вести себя как-то не так, но вроде бы и норм. Спойлер: Извините, вы обречены.