Решил я поиграться с новой хайповой моделью Jev и возникла идея научить ее проходить нашу игру для Скейла. Эта модель интересна тем, что она понимает входные текстовые данные по смыслу как обычная LLM, но вот ответить связным текстом не может – вместо этого она ранжирует варианты ответов на вопросы, которые ей подаются на вход, выдавая степень уверенности для каждого ответа. Фишка в том, что делает она это в десятки раз быстрее и дешевле обычных языковых моделей. Фактически это очень умный и быстрый универсальный классификатор, который может решать задачи типа распознавания спама или мошеннических транзакций.

Как я приспособил модель для игры. Довольно просто - в качестве фактов модели подается текстовое описание текущего экрана игры: где стоит робот, где находятся платформы, стены и препятствия. Вариантами ответов являются действия, которые может выполнить робот - пойти в какую-либо сторону, прыгнуть, прыгнуть при беге, двойной прыжок и тд. Движок бота выбирает ответ модели с наибольшей степенью уверенности и подает соответствующие команды роботу, нажимая на кнопки. На видео в панели лога справа можно видеть, что, к примеру, когда робот находится ровно под тайлом выхода из уровня, модель отвечает почти со 100% уверенностью, что надо прыгать вверх, а в не таких однозначных позициях даже самый уверенный ответ может быть в районе 20-30%.

Чтобы научить модель проходить уровни, я проделал много экспериментов по подбору оптимального представления состояния игры. У модели довольно туго с арифметикой, поэтому описывать ей объекты с их координатами в лоб оказалось неэффективно. Вместо этого сцена описывается словами, а так же добавляется история ее предыдущих ходов, что помогает модели не застрять в цикле ошибок. Это похоже как если бы вам надо было пройти лабиринт с закрытыми глазами, а напарник описывал бы словами, что видно вокруг.