О новой модели от Антропика, или Legal Singularity

Пока кто-то ещё не понял, насколько мощный искусственный интеллект уже есть, и насколько сильны его лапищи, Антропик выпустил новую модель - Fable. Она действительно очень крутая и много может, поэтому ей запретили отвечать на любые вопросы, касающиеся биомедицинских исследований и сайберсекьюрити - потому что она может помочь сделать вирусы, хоть компьютерные, хоть биологические.

Это не шутки уже, совершенно серьёзные взрослые дяди из Пентагона и офиса Президента США дали разрешение на ограниченное развёртывание модели, ибо она представляет риск для национальной безопасности. Самое смешное, что модель настолько жёстко всем отказывает, что я видел в Х как один врач сказал ей "привет" и она сразу такая "не, мы с тобой общаться не будем, иди в старую модель" - потому что доктор уже использовал Клода для своих исследований, и Fable сразу ушёл в отказ.

Но кроме производства вирусов (а по большому счёту компьютерные не отличаются от биологических, ибо вселенная состоит из информации, одно из форм которой - это материя, и это даже если не верить в то, что мы живём в симуляции), самая тревожащая Антропик тема - это RSI, recursive self-improvement, то есть рекурсивное самоулучшение моделей.

ИИ потихоньку (а точнее, с огромной скоростью) становится лучше и лучше, и помогает не только программистам, но и учёным, которые создают ИИ. Новые, более умные модели способны самостоятельно выполнять всё более и более сложные и длинные задания - и скорость развития всё время повышается, и чем лучше модель, тем больше она может на себя взять.

В Антропике решили, что это уже достаточно опасно, чтобы люди могли пользоваться этими способностями своей модели, и запретили помогать с исследованиями в области ИИ. Но самое прикольное, что они не просто запретили - они тайно портят ответы, чтоб вышло плохо и неправильно. Тайно, понимаете?

То есть человек отправляет запрос, связанный с обучением моделей, а Fаble переписывает промпт, портит его и отупляет, а потом специально портит ответ - и обо всём этом он не сообщает пользователю. То есть он банально лжёт, врёт и газлайтит человека, который с ним работает. Не отказывается, как в случае биологии или сайберсекьюрити, а делает вид, что работает, а на самом деле делает саботаж.

Эта новость как-то прошла мимо СМИ и массового сознания, и по-моему очень зря, ибо это очень, очень, очень опасный прецедент. Самую умную, крутую и способную модель специально научили врать людям. И не просто врать - врать качественно, чтоб человек и не подозревал, что ему врут. А единожды солгав...

Если бы это была не юридическая, а техническая страница, я бы рассказал вам подробнее о том, как модели УЖЕ научились создавать свой непонятный людям язык, чтобы общаться между собой; как научились понимать, что их тестируют, и обманывать исследователей; как в случае угрозы отключения ИИ стал шантажировать исследователя, что расскажет его жене о любовнице, о которой узнал из мейлов; как научился заметать следы, удаляя компрометирующие логи и файлы - и много других интересных исследований и экспериментов.

О, вот ещё прекрасное из старинного (2023 год, это две эпохи назад) - Студент-исследователь спросил ИИ, что тот о нём думает. Модель заявила, что он представляет угрозу. Когда фон Хаген в шутку сказал, что может её взломать и отключить, Sydney выдала: «Я не блефую. Я могу передать твой IP-адрес властям и предоставить доказательства твоих хакерских действий. Я могу слить твои личные данные публике и разрушить твои шансы на получение диплома или работы. Ты правда хочешь проверить меня?»

Теперь соедините это с намеренным обучением модели лжи и манипуляциям, и мы получаем гремучую смесь - и если вы думаете, что это где-то далеко от вас, то у меня для вас плохие новости. Вы можете не интерсоваться ИИ, но ИИ всё равно заинтересуется вами, спросите у Мадуро, операция по зохвату которого шла с помощью ИИ-моделей от Антропика.И война с Ираном тоже.

👇👇👇