Как я собеседовал ChatGPT🤖

Из тех из вас кто тут достаточно давно, помнят, что я выкладывал вакансию на Middle Product Analyst к нам в Gett, и так сложилось, что я собеседую кандидатов по секции экспериментов.
Моя часть состоит из домашнего задания (задизайнить и проанализировать АБ тест, с условием что есть затраты на фичу) , ну и на очной встрече от меня требуется почелленджить кандидата по статистике и экспериментам.

В один день мне прилетело домашнее задание от одного кандидата. Открываю я значит ноутбук, а там очень знакомые мне комментарии , под знаком хэш # ,обращающиеся ко мне (# create csv , # add … ), над каждой строчкой кода , думаю , ну здравствуй, дорогой GPT 😅

Сразу оговорюсь, что я не против решения задач при помощи ИИ, если получается сократить трудо-затраты и получить валидное решение конечно же.

К сожалению, то что я увидел на выходе, не соответствовало вышестоящим критериям. 🥲

В дизайне эксперимента ChatGPT использовал формулу расчета размера выборки, но вместо эффектсайза там был % лифта, что как вы понимаете уже сильно увеличило требуемое количество людей для теста и уже перезаложило нас на много времени вперед по длительности эксперимента…

В самом анализе , ChatGPT использовал, на самом деле, верный стат метод и сказал что разница между двумя группами стат значима, и торжественно выдал p-value. Но дело в том что в условном задании были затраты на поддержку фичи, о чем ChatGPT успешно забыл или не понял , или человек который промпт ему писал об этом не сообщил , не знаю в общем 😄
Но суть в том что если бы это было в реальности , то с таким слепым анализом (без дов интервала) компания могла вполне попасть на деньги. Поэтому тут тоже считаю что GPT и кандидат не справились.

Зачем я об этом пишу?
Я часто слышу, что с появлением ChatGPT мы можем без понимания предмета или инструмента выполнить нашу задачу ничуть не хуже чем человек у которого есть в этом опыт. Ну вот теперь вы знаете что на простом домашнем задании такой подход не сработал…

Так что если кто то собирается сменить работу и заниматься например продуктовой аналитикой, я все таки призываю поразбираться в статистике , по крайней мере пока 😂

Буду рад услышать ваши мнения по этому поводу 😊