Goodfire: новые «внутренние» мониторы ловят ИИ-агентов, вышедших из-под контроля, в разы дешевле

Обычно за ИИ-агентом следит другая модель: она перечитывает всё, что он делает. Для агентов, работающих часами и обрабатывающих огромные объёмы текста, такой контроль быстро становится дорогим. Стартап Goodfire представил более дешёвую систему: она отслеживает внутренние сигналы модели во время работы и подключает отдельную модель лишь при подозрительном поведении. Система доступна клиентам Baseten. В испытаниях на Kimi K3 проверка примерно 1 500 сессий стоила около $51; система выявила 94% вредоносных хакерских сессий.

👉 Читать полностью