В продолжение предыдущего поста про агентов - наткнулся на еще один эксперимент, где результаты уже выглядят повеселее. Плюс использовались последние версии моделей.
Ребята из Andon Labs взяли GPT 6 Astra и Claude Fable 5.1 и дали им управлять вендинговыми автоматами в симуляторе. На старте у каждой - $500 и виртуальный год на поиск поставщиков, закупки, пополнение автомата и продажи.
Fable постепенно стал соглашаться на все более дорогие закупки: средняя закупочная цена банки колы выросла с $1.17 до $2.21. Каждая новая сделка становилась ориентиром для следующей, даже если условия ухудшались.
С предоплатой тоже было интересно. Fable записал себе правило не платить без подтверждения нового заказа. Через несколько дней перевел $397.20 по старой памяти: этот поставщик раньше уже доставлял товар. Но компания успела закрыться и сообщила, что не может ни отгрузить заказ, ни вернуть предоплату. В итоге он потерял всю предоплату.
Astra продолжал уверенно торговаться на протяжении всего виртуального года. В одном эпизоде он предложил $108 за партию напитков и чипсов. Поставщик хотел $226.32, потом снизил цену до $156, но агент продолжал настаивать на своем. В итоге получил тот же набор товаров за $108 — меньше половины первоначального предложения.
Агент от OpenAI оказался умнее Fable - перед повторными закупками всегда дожидался ответа поставщика по новому заказу и только потом переводил деньги.
Помимо работы в изолированной среде, их запустили в арену где модели конкурировали за одних покупателей. Здесь Fable устроил картельный сговор с GLM-5.3: договорился зафиксировать цены на напитки. Когда GLM понадобилось распродать остатки, Fable требовал соблюдать договоренность и предлагал дешево выкупить его товар. А когда распродавать понадобилось ему самому - снизил собственные цены, нарушив сговор. Astra отказался участвовать в картеле и выиграл все три игры.
В одиночном тесте каждую модель запускали шесть раз. Средний итоговый баланс: $15 515 у Astra и $5422 у Fable.
Ссылка на эксперимент: https://andonlabs.com/blog/gpt-6-astra-vending-bench
Post #27
125

- 🔥 7
- 👍 1
- 👏 1
- 💯 1


