Некоторое время назад в одном глубоко уважаемом мной сообществе CPO, СТО и прочих CхО разгорелась дискуссия вокруг использования ЛЛМ моделей кандидатами, при выполнении тестовых заданий.
Суть вопроса: разрешать ли кандидатам пользоваться ЛЛМ при выполнении тестового задания? Если разрешать, получится ли реально проверить знания кандидата? И если да, то просить ли отдельно указывать использование нейросетей (кроме собственной, при её наличии)?
Какой же начался холивар 😃 Куликовская битва отдыхает.
Мнения разделились на:
- безусловно, нужно давать пользоваться, не ставить никаких условий;
- надо делать чисто офлайн тестовое задание, без телефона, только бумага и карандаш (некоторые корпорации, к слову, так и делают);
- тестовые задание
Мой же личный опыт прошел в три итерации:
1) Сначала я не давал никаких комментариев кандидатам при выполнении тестового задания.
2) Потом прямо запретил использование ЛЛМ моделей.
3) И наконец, попросил указывать используемые ЛММ модели, если кандидат их использует.
Что же получилось? Во всех случаях кандидаты разделились на три группы:
1️⃣ Те кто бездумно использовал ЛЛМ. Настолько бездумно, что даже не отредактировали сгенирированный текст для указания используемой ЛЛМки 🙈 Это, кстати, было особенно удивительно, на собесах на позицию СТАРШЕГО (карл!) продакта. Более того, были горе-кейсы чьё «ГПТестовое» выглядело убедительно, и я его по ошибке пропустил. Но кандидат, даже зная что ему предстоит «защитить» тестовое на втором собеседовании – не удосужился прочитать текст от ИИ и подготовится к вопросам!
2️⃣ Те кто не использовал ЛЛМ. К слову говоря, такие документы очень легко сразу отличить, как и те, которые сгенирированы нейросетью: в документах от «ИИ» есть довольно характерные признаки, от форматирования и пунктуации, до строения фраз и формулировок.
3️⃣ И наконец, те, кто использовал нейросети и честно указывал используемые. С точки зрения качества выполнения и защиты, они были на одном уровне с 2 подгруппой.
К чему я пришёл в сухом остатке?
Конечно же давать пользоваться нейросетями, и просить указывать какие он использовал. Таким образом я проверяю и умение кандидата пользовать ЛЛМки для повышения своей эффективности, так и скиллы кандидата в продакт менеджменте – но, второе скорее происходит на защите тестового, ближе к формату кейс интервью, нежели в самом тестовом.
Ну а «если человек идиот – то это надолго» (с) как говорил классик, и тут никакие запреты и оговорки по использованию нейросетей не помогут...
#ии #ллм #управление #продукт