🍲 Мы с коллегами периодически пробуем разные решения типа Operator, когда модель управляет компьютером или браузером.

В какой-то момент придумали идею — «борщиный тест». Сможет ли модель заказать в интернет-магазине набор продуктов для приготовления борща? 🥘

Всё, что видели до этого, получалось очень смешным: например, борщ из сублимированного мяса и томатного порошка. Такие борщи получались не просто невкусными, но и вообще несъедобными 🦨.

И вот, наконец, новая версия оператора от OpenAI тест прошла (да, я тот человек, который платит $200 за подписку Pro)! Она собрала мне корзину в «Купере», и это вполне можно есть! Нужен новый бенчмарк 🔥.

Из важных инсайтов:

* Решена большая проблема — авторизация. Operator не имеет доступа к вашим данным, но сеансы сохраняются между запросами, так что достаточно один раз авторизоваться на каком-то сайте, и дальше модель будет ходить под вашей учёткой.
* Явно есть отдельный агент-watchdog. В какой-то момент он приостановил работу оператора и обратился ко мне с предупреждением, что я просил заказать продукты в «Пятёрочке», а он заказывает в «Купере», и это ошибка. Можно было разрешить продолжать или заблокировать доступ к этому сайту.

А вот состав корзины для борща по-Сэмальтмановски:

* Суповой набор говяжий (1 кг) — 1
* Капуста белокочанная (≈2 кг) — 1
* Свёкла (500 г, очищенная) — 1
* Морковь (≈0,5 кг) — 1
* Картофель (≈2 кг) — 1
* Лук репчатый (≈1 кг) — 1
* Томатная паста «Помидорка» 270 г — 1
* Чеснок (≈100 г) — 1
* Сметана 15 % 300 г — 1
* Укроп сушёный 10 г — 1
* Петрушка сушёная 7 г — 1
* Лавровый лист Kotanyi 5 г — 1
* Перец чёрный молотый 20 г — 1
* Соль «Адыгейская» 450 г — 1
* Сахар-песок 1 кг — 1
* Масло подсолнечное 500 мл — 1
* Уксус столовый 9 % 1 л — 1
--- Итого 1605 рублей