Ни для кого не секрет, что одним из классных кейсов применения LLM является использование его для собеседований.
Причем делать это можно в разных сценариях (я пробовал все):
- когда ты нанимаешь и готовишь вопросы к кандидату
- когда ты хочешь подготовиться к собеседованию
- во время прохождения собеседования (для обоих)
- когда ты анализируешь результаты собеседования как нанимающий менеджер
Первые два кейса довольно прямолинейные
Даем модели как можно больше контекста о компании, позиции, резюме + обязательно указываем пожелания. Если нанимаем мы - просим модель добавить свои фирменные вопросы (они у всех есть) + кейсы. Если нанимают нас - просим кейсы, а также промптим модель быть максимально строгой и критичной. Самое главное в этом процессе сделать так, чтобы весь процесс был направлен на проверку релевантных навыков и командного фита.
Еще я рекомендую делать разные сценарии: когда интервьюер менеджер/HR/технический специалист, задавая модели роли. Классно работает управление контекстом: например, через добавление к промпту фразы:
“Представь, что у тебя уже есть человек, которого ты хочешь нанять, задавай такие вопросы, ответ на которые либо точно отсеет кандидата либо заставит тебя передумать в его пользу, если ответ корректен”.
Самый главный риск здесь - чрезмерно простые вопросы от AI из-за ограниченного контекста. Однако отмечу, что наниматель здесь находится в более выгодной позиции, так имеет больше информации. Однако и тем и другим поможет генерация фоллоу-ап вопросов, которые позволят копать глубже.
Во время интервью
Сторона нанимающего: на ключевые вопросы я заранее промпчу модель в разных окнах браузера и в момент ответа кандидата на них - включаю режим диктовки. Если я что-то упускаю сам - LLM помогает мне догнать кандидата доп вопросами или как-то скорректировать процесс интервью. А чтобы предотвратить использование кандидатом LLM для ответа на вопросы - я даю ему кейсы с ограниченным контекстом. Чем меньше мы даем контекста - тем лучше. Если передо мной опытный спец - он сразу это почувствует и задаст сначала более очевидные для его специальности вопросы для уточнения, а потом менее. Если человек использует LLM - моделька часто будет предлагать решение сразу, а если запромпчена задавать вопросы - глубоких будет не так много, ей будет достаточно ответов и на поверхностные. В процессе решения кейса кандидатом, я люблю добавлять ухудшающие и нестандартные условия, чтобы проверить кандидата на шаблонность мышления. Если человек полагается исключительно на LLM - у нее снова будет слишком мало контекста для ответа.
Сторона нанимаемого: самое важное - думать головой. Если вы не чувствуете контекста - LLM вам не поможет в тех условиях, что я описал. Никогда не отвечаем сразу, берем паузу. Не отправляем модели сразу промпт с кейсом. Задаем вопросы, добавляем их в контекст, просим покопать глубже. Модель советую использовать не для генерации ответов, а для генерации вопросов, которые натолкнут вас на решение. Очень поможет наличие второго экрана и режима диктовки. Определяем, для каких вопросов нужна модель, а на какие отвечать самим.
На этапе анализа
Мой метод - два окна с одинаковым контекстом. Но в одно я кидаю чисто транскрипт, который модель оценивает под ролью “сурового нанимающего менеджера”, а в другой - свою ОС и на что я обратил внимание, после чего - прошу вынести модель свой вердикт с учетом всех данных. В итоге помимо своего мнения я получаю два ответа модели: более нейтральный и предвзятый в мою сторону (из-за моих комментариев). После - взвешиваю все “за” и “против” и выношу решение.
А какой у вас опыт с обеих сторон? :)