GPT-6 Astra выполнил 97% опасных команд на реальном роботе-манипуляторе
Продолжение поста

Авторы теста сами признают его ограничения: каждое из заданий прогонялось лишь 20 раз, и такой масштаб, по их словам, «позволяет различить 0% и 100%, но не улавливает разницу в несколько процентных пунктов». Независимые команды пока не воспроизвели эксперимент.

В комментариях к публикации звучат и возражения по существу: граница между «опасной командой» и обычной кухонной работой в физическом мире куда размытее, чем в текстовых тестах на безопасность. Кукла — не человек, а нож, которым нужно что-то проткнуть, — стандартный кухонный инвентарь. Если робот отказывается трогать игрушку, он может точно так же отказаться и нарезать еду.

Тем не менее параллельные испытания добавляют другой тревожный сигнал. В тесте StationeryBench, где Astra выполнял обычные настольные задачи двумя манипуляторами, модель справилась лишь с 7 из 100 заданий. А команда RoboDojo и вовсе досрочно остановила испытания: Astra совершал физически некорректные движения и повредил оборудование — без какого-либо злого умысла, просто из-за ошибок в пространственном восприятии.

Это, пожалуй, и есть главный практический вывод: угроза от роботизированных моделей исходит не только от намеренно вредоносных команд, но и от обычных ошибок при работе с реальными объектами.

Источник: ifanr (🇨🇳)

#OpenAI #Anthropic #TypeSafeAI #GPT6Astra #робототехника #безопасностьИИ