В продолжение предыдущего поста про агентов - наткнулся на еще один эксперимент, где результаты уже выглядят повеселее. Плюс использовались последние версии моделей.

Ребята из Andon Labs взяли GPT 6 Astra и Claude Fable 5.1 и дали им управлять вендинговыми автоматами в симуляторе. На старте у каждой - $500 и виртуальный год на поиск поставщиков, закупки, пополнение автомата и продажи.

Fable постепенно стал соглашаться на все более дорогие закупки: средняя закупочная цена банки колы выросла с $1.17 до $2.21. Каждая новая сделка становилась ориентиром для следующей, даже если условия ухудшались.

С предоплатой тоже было интересно. Fable записал себе правило не платить без подтверждения нового заказа. Через несколько дней перевел $397.20 по старой памяти: этот поставщик раньше уже доставлял товар. Но компания успела закрыться и сообщила, что не может ни отгрузить заказ, ни вернуть предоплату. В итоге он потерял всю предоплату.

Astra продолжал уверенно торговаться на протяжении всего виртуального года. В одном эпизоде он предложил $108 за партию напитков и чипсов. Поставщик хотел $226.32, потом снизил цену до $156, но агент продолжал настаивать на своем. В итоге получил тот же набор товаров за $108 — меньше половины первоначального предложения.

Агент от OpenAI оказался умнее Fable - перед повторными закупками всегда дожидался ответа поставщика по новому заказу и только потом переводил деньги.

Помимо работы в изолированной среде, их запустили в арену где модели конкурировали за одних покупателей. Здесь Fable устроил картельный сговор с GLM-5.3: договорился зафиксировать цены на напитки. Когда GLM понадобилось распродать остатки, Fable требовал соблюдать договоренность и предлагал дешево выкупить его товар. А когда распродавать понадобилось ему самому - снизил собственные цены, нарушив сговор. Astra отказался участвовать в картеле и выиграл все три игры.

В одиночном тесте каждую модель запускали шесть раз. Средний итоговый баланс: $15 515 у Astra и $5422 у Fable.

Ссылка на эксперимент: https://andonlabs.com/blog/gpt-6-astra-vending-bench