Сегодня всех будоражит новость, что для новой модели OpenAI используют секретный прием - непрозрачное рассуждение, что опасно для безопасности ИИ

Сегодня The Information сообщили, что новая ИИ- модель OpenAI - Astra использует архитектуру «recurrent depth» также называют looped transformer.

Эта архитектура якобы даёт выигрыш в силе и цене.

Суть в том, что если обычная модель прогоняет текст через слои один раз и идёт дальше, то с помощью этого нового метода одни и те же слои можно прокрутить несколько раз. Модель как будто ещё раз пережёвывает мысль внутри себя, не обязательно записывая её словами.

В свою очередь OpenAI это не подтверждала, но главный ученый компании написал пост, в котором не подтвердил и не опроверг эту информацию. Он сказал лишь то, что не надо из-за выхода статьи в СМИ устраивать гонку моделей, которые нельзя мониторить.
Сам мониторинг он признает - хрупкий и тренд плохой и не только из-за архитектуры.

В свою очередь на эту публикацию отреагировал Ryan Greenblatt, который разбирал историю недавнего взлома агентами OpenAI Hugging Face.

Он считает, что если в репортаже все корректно написано, то это один из худших поворотов для безопасности ИИ.

Потому что индустрия как раз училась следить за моделями по тексту.