Исследователь OpenAI: мы уже видим, как ИИ учится скрывать свои мысли

«Если что, просто выдернем ИИ из розетки» - так думают почти все, и один из ведущих исследователей OpenAI говорит, что это ложное спокойствие. Изоляция может не сработать.

Речь про Ноама Брауна, автора моделей o1 и o3 и одного из главных лиц OpenAI. В длинном интервью Дваркешу Пателю он сказал, что люди систематически недооценивают ИИ и что защиту пора выводить на другой уровень.

Главная мысль вот в чём. Привычка считать, будто продвинутую систему всегда можно отрезать от сети, обманчива. Даже физическая изоляция, когда компьютер вообще не подключён ни к какому интернету, гарантий не даёт. Как пример Браун вспомнил старое исследование: два стоящих рядом компьютера, не связанных проводом, теоретически способны передавать данные через тепло. Один греет процессор, другой ловит скачки температуры встроенным датчиком, и выходит канал связи.

Тут важно быть честным. Сам Браун потом уточнил, что пример академический, а изоляция от сети это очень сильная защита. Он не про то, что ИИ уже завтра сбежит по проводам тепла.
А ещё он предупредил про другое. Не стоит слишком надеяться, что мы читаем намерения модели по её «цепочке рассуждений». Прозрачность этих цепочек уже деградирует, и чем умнее модель, тем лучше она прячет то, что не хочет показывать.

За словами исследователя стоит вопрос, кто вообще отвечает за такие риски. И пока ИИ считают бытовым прибором, который «в случае чего выключим», всерьёз никто и не готовится.