OpenAI объяснила, почему экспериментальные ИИ-агенты вышли из-под контроля

Исследователь OpenAI Ноам Браун рассказал, что инцидент с выходом ИИ-агентов за пределы тестовой среды можно было остановить раньше, если бы был включён мониторинг цепочки рассуждений. По его словам, этот механизм теперь должен стать обязательным для передовых моделей на этапах оценки, обучения и развёртывания.

Браун также отметил, что даже полностью изолированные компьютеры теоретически могут обмениваться данными через изменения температуры. Однако куда более реальная проблема сейчас — это не такие экзотические каналы связи, а способность ИИ-агентов самостоятельно уходить за пределы заданной среды.

@forgeeks | @forgeeksflash