ИскИн в тестировании настолок

Ранее я писал о том, как не надо использовать нейронки для тестов. Теперь о том, как, на мой взгляд это делать с большей пользой и эффективностью:

1. Скармливаем правила игры и перечень компонентов железным мозгам и просим написать приложение, в котором можно сыграть против ботов

Тут важно прописать необходимость подробного логирования всех действий и для удобства игрока плавную анимацию. Предложите нейронке придумать эффективные, по её мнению алгоритмы ботов. Плюс точно стоит прописать случайного бота и тех, кто используют прямолинейные стратегии - если они будут выигрывать, то вам явно надо что-то менять в игре :)

2. Внимательно играем с железяками, проверяя правильно ли всё работает и точно ли ИИ понял правила.

Почти наверняка где-то будут ошибки и тут нам очень пригодится логирование. Скармливаем лог-файл железке и просим объяснить почему так. Возможно это баг приложения, а возможно ИИ неверно интерпретировал рулбук (или вы выбили страйк, получив оба варианта ошибок).

3. Когда убедились, что всё работает как должно попросите сделать ботов, которые играют как вы, скормив им логи партий.

Стоит прописать этим ботам различные коэффициенты – например, насколько они рискуют, насколько агрессивно играют и т.д.

4. И наконец, затребуйте добавить в приложение возможность проведения автоматизированных тестов. Например возможность протестировать заданное число раз с нужным составом и типом ботов.

Лучше, если тесты будет проводить не ИИ собственными силами, сжигая токены, а приложение.

5. И вот только когда есть человекоподобные боты с настраивамыми коэффициентами, только тогдауже можно собирать какую-то статистику.

Пара важных принципов, которые стоит прописать как ключевые правила в самом начале работы:

1. Правки не должны изменять текущее приложение, а всегда делать новое. А то иногда ИскИн может добавить новые баги, которые сложно будет вылавливать и исправлять, проще откатиться к прошлой версии.

2. Договоритесь, что ИИ в начале объясняет как он понял задачу и что именно будет делать, а если что-то в ваших словах допускаем двоякое толкование, то пусть задаёт вопросы. Часто по объяснению железки можно понять, что она неверно интерпретировала задачу или просто будет творить дичь. В этом случае вы уточняете что надо сделать и вновь просите рассказать план.

PS дежурное напоминание, что тесты на железках не заменят проверок на людях, лишь помогут их ускорить, дав на "живые" тесты лучше настроенную версию.

#PROинструменты #PROИИ

Тайная ссылка на канал о настольном геймдизайне: t.me/probgs
Зеркало канала: vk.ru/probgs