Довольно часто слышу что сегодня на собеседованиях уже надо не лайвкодинг проверять а умение пользоваться LLM агнетами. Я согласен что надо что-то менять, но не согласен с тем что проверять надо умение пользоватся условным курсором.

Умение пользоватся вебштормом или vim раньше на собеседованиях не проверяли, так чего начинать теперь? Инструментов много и подходов тоже, проверять надо какие-то более универсальные вещи.

Давайте спросим себя, какие навыки отличают человека который полагается на удачу при разработке с помощью LLM (то чего мы не хотим в рабочем проекте) от человека который контролирует процесс?

Практикой ведь это не проверишь, оба кандидата вероято с помощью условного Opus сделают ваше тестовое задание.

Я думаю что у меня есть некоторые идеи на этот счет:

Ключевой становится способность понять что предлагает LLM. У вас бывало что вы полезли не в свой домен и в какой-то момент лмм отвечает вам "тарабарщиной" и просит выбрать один из двух вариантов?

Чтобы разобраться какой вариант правильный нужно как минимум иметь понимание какие уточняющие вопросы спросить, а для этого нужен навык аналитики, любознательность, какая-никакая база, быстрое схватывание новых концепций, и способность понять проблему.

Вот тут мне кажется кроется разница между контролируемой разработкой и опорой на везение и качество модели.

Как это проверить?

Ну можно попробовать посохранять беседы из реальной практики где LLM предлагает оверинженирить, допускает ошибку в логике, или все предложенные ей варианты не верны. Сохраняйте такие чаты где вы чуть не попались для будущих собеседований (если у вас вообще есть перспектива их проводоить в ближайшем будущем) и затем предлагайте человеку вникнуть в беседу и выбрать правильный вариант рассуждая вслух.