Кто-то пытался собрать чуму по промптам, и это всплыло из логов

Anthropic рассказала журналистам, что с декабря по август кто-то пробовал через Claude прокачивать опасные штаммы, в духе Plague Inc, только без кнопки «сохранить игру и начать заново». Ключевая идея вируса - ослепить все человечество навсегда. История звучит как трейлер, но интересна тут не сама попытка, а то, что компания её увидела и вынесла наружу.

У Claude под капотом сидят проверяющие, которые ловят такие сценарии и складывают их в отчёт. Anthropic превращает эти перехваты в аргумент к усилению гардрейлов: смотрите, эта система, которая знает, когда её используют как консультанта по концу света. Это одновременно и признание, что инструмент реально помогает в таких задачах, и заявка на роль взрослого в комнате.

Дальше такие отчёты станут рутиной, каждая лаборатория будет показывать пойманных злодеев как медали. 🙂

ИИ что дальше? Подпишись, да пребудут с тобой токены!