Советы по техническим интервью в эпоху LLM

👉Углубляйтесь в личный опыт собеседуемого – LLM будет довольно сложно уйти в глубину и при этом поддерживать когерентность рассказа. Например, когда вы расспрашиваете кандидата про то, чем в своем опыте он оордится, закапывайтесь в конкретные решения по архитектуре, трейд-оффы, и встреченные сложности. Но главное – просите больше деталей в каждом из ответов, и смотрите на глубину понимания темы, критическое мышление и присутствие каких-то личных инсайтов, а не только общих выводов.
👉Так как огромную часть работы инженера составляет чтение кода, можно попробовать дать задачу именно на это, и разрешить использовать LLM. Важно смотреть, насколько хорошо он оперирует моделью, может ли найти проблемы в кодовой базе с ее помощью, насколько доверяет ее выводам, задает ли дополнительные вопросы вам, или целиком полагается на машину.
👉Похожая история с ревью кода – тут можно дать довольно запутанный PR и посмотреть, в какой мере кандидат полагается на свой вкус и размышления, а в какой – на выводы LLM.
👉Хороший кандидат не доверяет модели слепо, а кросс-валидирует ее выводы и дополняет личным мнением. Он умеет декомпозировать сложные проблемы на оораздо более локальные, и отдает LLM уже их. У него есть сильное доменное знание, и он его использует для подсказок и валидации модели.