Самый частый вопрос на собеседованиях для ИИ-инженера

Везде где я проходил собесы всегда присутствовал вопрос про качество выдачи результата нейронки (evals). Не важно это отдельный сервис, отдельный агент или просто написания кода за счет клода/кодекса.

1. Написание кода
Зачем спрашивают? Отсеять тех кто просто промптит, а не имеет настроенный процесс. На одном собесе мне напрямую сказали, что кто просто промптит мы не рассматриваем.

Тут я всегда рассказываю про свой подход работы своего воркфлоу.
В своей работе у меня несколько паттернов для решения задачи:
если задача большая:
- спличу на мелкие куски аналитику
- разбиваю на изолированные подзадачи
- по каждой позадаче провожу детальную аналитику + ресерч по коду. оформляется в конце в виде артефакта
- синтезирую инфу из артефактов и собираю как можно больше корнер кейсов, ищу потенциальные трейдоффы, слабые места
После этого только начинаю делать тех диз + ревью тех диза. Тут я провожу больше всего времени. Схемы, связи, архитектура.
Смотрю как это все встраивается. Если все ок, апрувнул далее просто запускаю воркфлоу по SDLC. Результат в 90% очень качественно выдается и нет проблем.

2. ИИ-фича/ии-агент
Зачем спрашивают? Узнать твой опыт, какие подходы, паттерны знаешь.
Тут есть много разных подходов, но самые частые, которые я использую это:
- детермированная структура (json или другие)
- агент-критик/судья
- golden dataset

Важно чтобы критика осуществлялась другим агентом/моделью. На селф ревью нейронка может легко ошибиться и выдать желаемое за действительное. Поэтому агента-критика создаю отдельно или вызываю другую модель.

Golden dataset очень мощная практика на большом обьеме данных. Условно есть 10к записей где нужно по шаблону что-то поменять. Нейронка 100% налажает где-то. Поэтому я бью весь обьем на чанки по 1к, прогоняю весь процесс и отдельно делаю себе датасеты с результатами: идеально, приемлемо, брак.
После этого уже отдельной проверкой сравниваю еще раз. Фактически сравниваю это с выдачей.

По детермированной структуре все достаточно просто. Говорю какой нужен output, обязательное соблюдение таких и таких параметров и дальше уже сама проверка происходит гораздо легче.

Вопрос про качество самый частый который у меня был и наверное самый важный.
В моем курсе будет отдельный ролик про качество и полноценный развернутый ответ на этот вопрос.