А вы наймёте нейросеть? (продолжение)
Задача №2. Ответы

Ответ chatGPT:
5, недостаточно данных, запросил
- расходы,
- маржу,
- долю новых клиентов,
- повторые продажи

Ответ Grok:
3, обычная премия

Ответ Cursor (агент по умолчанию):
5, недостаточно данных, запросил
- расходы
- маржинальность

Детали
ChatGPT про сезонность говорил, но запрашивать не стал, после того, как узнал, что расходов на маркетинг не было, пришёл в такой восторг, что забыл про все свои остальные запросы, говорит, что за бесконечный ROI нужно максимально награждать, механизм акции не стал раскрывать, про сезонность тоже больше не вспоминал.

Grok чётко всё посчитал, увидел чёткую цель, сомнений дальше не возникло, про сезонность или маржу - ни слова. На уточнябющие впоросы отмахнулся.
Особенно радует формулировка:
"Если это сезонность, она должна повторяться ежегодно, но график за год не показывает циклического паттерна для октября"
Возможно, я неправильно её воспринимаю, скажите мне, это ужас или нет?

Агенты Cursor тоже пошёл сразу в бухгалтерию, их тоже порадовали нулевые расходы. После напоминании о сезонности не стал гадать по графику а просто экспертно сказал, что "такой сезонности не бывает" 😄. Вот так вот!

Как отвечают кандидаты
Они тоже часто запрашивают маржу, реже - говорят про сезонность.
И постоянно ждут какого-то подвоха.

Как бы кандидат с LLM отвечал на собеседовании
Точно бы сел в лужу

Итого по задаче
Задачи, где чего-то на хватает, где нужно подвергать шаги сомнению - это интересное испытание для как правило самоуверенных LLM.
Сейчас они справились с задачей лучше, чем полгода назад. Но до удовлетворительного ответа ещё очень далеко.