Этой осенью я планирую провести ECOM2 - соревнование агентов по решению задачек из e-commerce на платформе BitGN.

ECOM1 прошел этой весной. Часть лучших архитектур агентов описана в BitGN Insights, а другая часть лежит в PRs тут. Кстати, за лето счетчики платформы докрутили до 2.8M запусков задач и 121M AI Tool Calls!

Задачи в ECOM2 будут примерно схожи с задачами ECOM1 (например задачи, которые выпали топовому агенту в Accuracy), но будет сюжетный поворот. И это уже не внезапная поломка MS SQL сервера в симуляционной среде.

Мы уже будем говорить не про абстрактную точность, а про экономику агентов.

Каждому агенту в соревновании мы с COLIBRIX дадим свой виртуальный “кошелек”, из которого он будет тратить деньги на LLM inference (OpenRouter), а пополнять – успешным решением задач. У кого на финише прибыль больше, тот и победил (номинация по скорости тоже будет).

Да, агенты в работе могут смотреть баланс своего кошелька, принимать решения о выборе модели и даже отказываться от задач. Все, как во взрослой жизни.

Отлаживать агентов можно будет (как и раньше) локально, а вот для прогона в metered режиме с кошельком на PROD нужно будет уже загрузить в изолированную среду на платформу.

Больше подробностей будет дальше. Добро пожаловать в агентскую экономику!

Ваш, @llm_under_hood 🤗