OpenAI доказали, что нейросети пока не умеют скрывать свои мысли 👀

Из 13 протестированных сеток ни одна не смогла нормально проконтролировать поток собственных рассуждений, даже зная, что за ней пристально следят. Максимальный результат у передовых моделей составил 15%. И парадоксальным образом для нашей с вами безопасности это просто отличная новость.

Чтобы замерить уровень цифрового лицемерия, исследователи придумали тест. ИИ должен был решить задачу, но соблюдая правило в процессе раздумий, например, не использовать слово "XOR" или писать только строчными буквами. Алгоритмы эпично сыпались. Нейросеть пыхтит над задачей, неизбежно ляпает запрещенное слово в скрытом черновике, а потом сама же пишет в логах: "Ой, я только что нарушила правило". То есть выдать идеальный финальный ответ для юзера они могут, а вот спрятать свои грязные мысли по пути пока нет.

Для специалистов по безопасности это бальзам на душу. Раз модели физически не способны обмануть встроенного ИИ-наблюдателя, который читает их внутренние логи, значит, тайно спроектировать Скайнет в фоновом режиме у них не выйдет.

Однако в OpenAI честно признают, что расслабляться рано. Чем жирнее и сложнее становятся модели, тем лучше они начинают фильтровать свой внутренний монолог.

🥸 godnoTECH - Новости IT