Ключевая ошибка при тестировании с ИИ

Использую уже некоторое время агентский ИскИн для проведения тестов настолок, наблюдаю как это же делают коллеги и заказчики, решил, что пора рассеять некоторые заблуждения.

Самым главным таким заблуждением я бы назвал слепую веру в выдаваемые результаты.

Когда я читаю отчёты про то, что какая-то стратегия по мнению ИИ эффективнее на ХХ% по сравнению с другой, я понимаю, что эти цифры говорят лишь о весовых коэффициентах в настройке бесчеловечных мозгов, а не реальной эффективности тех или иных стратегий. Во всяком случае для мало-мальски комплексной игры, на настройку которой потратили вменяемое время.

ИИ часто не до конца верно интерпретирует правила и даже будучи обученным порой делает странный выбор. Это лечится, но требует немало осмысленного копания в логах и умения грамотно ставить задачи этому немного глупому, но старательному помощнику. И чем сложнее игра, тем больше усилий надо приложить, чтобы научить ИИ играть похожим с человеком образом.

Но даже при идеально правильной настройке автоматические тесты не заменяют тестов с людьми. Железка в целом играет НЕ так, как люди. Ну и важны не только и не столько цифры, сколько фан, а ИИ не испытывает эмоций и удовольствия :)

Зачем же тогда вообще тестировать с ИИ? На нём можно хорошо проверить игру на поломы и эффективность прямолинейных и случайных стратегий (если они эффективны, то у меня для вас плохие новости).

Но, автоматические тесты разумно проводить до игры с людьми, а не после. Так как если вы что-то меняете, то десятки партий надо проводить заново. Ведь именно тесты с людьми являются для нас veritas absoluta - мы ведь делаем игры для людей.

#PROинструменты #PROИИ

Лады, Курсор как раз закончил мастерить очередную версию тестового приложения, пойду проверять :)