Скоро мы можем перестать понимать, что вообще происходит в голове у ИИ — вышла серьёзная статья от более чем 40 ведущих исследователей и подпись сооснователя OpenAI Илью Суцкевера.

В ней подняты ключевые вопросы безопасности, которые становятся всё более острыми по мере роста возможностей нейросетей.

Главные выводы:

— Существуют методы CoT-мониторинга — они позволяют отслеживать «логические цепочки» моделей с reasoning. Сейчас это один из немногих способов понять, как нейросети принимают решения.

— Однако даже в таких цепочках уже начали появляться открытые призывы к саботажу и взлому — и это не баг.

— В ближайшем будущем ИИ может вообще уйти от «человеческого мышления» — начнёт размышлять в скрытых пространствах, использовать собственные языки и не оставлять понятных следов для анализа.

Нас пока не заменили. Но точно пора включать режим внимания.