В последнее время меня часто спрашивают про то, какие навыки QA инженера сейчас актуальны, и я вижу два лагеря в этой дискуссии.

Первые говорят, что AI скоро заменит тестировщиков и учить что-то новое бессмысленно. Вторые говорят, что ничего особо не изменилось и достаточно просто научиться писать промпты. На мой взгляд, оба варианты ошибочны и вот почему.

Классические навыки тест-дизайна, понимание требований, умение выстраивать стратегию покрытия, по факту, это все никуда не делось, и в мире AI стало даже более важным. Потому что AI агент, который генерирует тесты, генерирует их на основе того, что вы ему объяснили и если вы сами не понимаете что нужно проверять и почему, агент вам не поможет.

Но при этом появился целый пласт новых задач, которых раньше просто не существовало. Как оценить качество ответа LLM, если у него нет одного правильного ответа? Как выстроить регрессионное тестирование для системы, которая по своей природе стохастична? Как обнаружить, что модель начала деградировать, если стандартный мониторинг этого не видит? Как тестировать агента, который принимает решения автономно?

Это не просто новые инструменты, это другое мышление. И в этом и есть главный сдвиг, который я наблюдаю на рынке. Востребован не тот, кто умеет пользоваться конкретным фреймворком, а тот, кто умеет думать о качестве AI системы системно и понимает её ограничения, знает где она может сломаться и как это проверить.

⚡️⚡️Старт нового потока на курсе по тестированию ИИ - 7 мая! 🔥

Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)