Вы думали, что новую модель Jev мы не будем тестировать Doom'ом? Будем. Но не создавать, а играть.

Использовал FreeDoom через ViZDoom, чтобы отправлять в Jev десяток строк про обстановку (здоровье, патроны, враги, как далеко они и с какой стороны, стены, дверь впереди) и меню из восьми действий. Уходить боком (стрейф) влево и стрелять, то же вправо, идти вперед, отступать, подобрать предмет, обходить уровень, развернуться, открыть дверь. Модель возвращает вероятности по каждому пункту, код полсекунды исполняет победителя, сам целится и обходит стены.

Два решения в секунду, медиана ответа 443 мс. На один ход тратится 740 входных токенов, из них 620 это неизменное меню с описаниями действий, а само состояние игры укладывается в сотню. Ход стоит $0.00003, минута игры $0.0045, час $0.27. За две минуты 289 решений, 7 убийств, ни одной смерти.

Ну и по традиции, я вам в комментарии MD-фаил закину. Можете обсудить проект со своим агентом или развернть тоже самое у себя.