Ноам Браун заявил, что просто отключение ИИ от сети в случае чего может уже не сработать 🗿

У Дваркеша Пателя вышло длинное интервью с топ-исследователем OpenAI (он же автор o1 и o3, он же один из главных медийных личностей стартапа).

https://youtu.be/6AgOfiZOWiY?is=J6kbZC94a20mMOc8

Браун считает, что люди систематически недооценивают AI, и что системы безопасности уже сейчас должны выходить на другой уровень. Он говорит, что нельзя относится к ИИ, как к тому, что в случае чего можно просто отключить от сети. Это ложное чувство безопасности, потому что даже такая изоляция может просто не сработать.

(В частности, он ссылается на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло: один нагревает CPU, второй считывает изменение температуры встроенным термодатчиком).

То есть по-настоящему продвинутая система – если бы захотела и умела – могла бы найти способ «сбежать».

Также Браун заявил, что не следует слишком надеяться на CoT для интерпретации намерений моделей. Надо довольно срочно искать другие методы, потому что прозрачность цепочек мыслей «уже деградирует». И чем умнее модели, тем больше они способны скрывать из CoT то, что они не хотели бы, чтобы человек увидел.

Страшилки на ночь теперь такие. Все, спокойного всем сна ✌️