ИИ vs ИИ в Street Fighter III

Этот ретро-тест LLM придумали разработчики Stan Girard и Quivr Brain и показали на хакатоне Mistral AI в Сан-Франциско. Он называется LLM Colosseum. По задумке два ИИ «дерутся» в аркадном файтинге Street Fighter III.

Благодаря тесту проверяется эффективность ИИ-«игроков»: насколько быстро одна ИИ будет реагировать на удары оппонента.

На тестах Girard выяснил, что лучшей языковой моделью в Street Fighter III оказалась GPT 3.5 Turbo от OpenAI, даже опередив GPT 4.

А вот тут можно посмотреть, как ИИ дерутся, и как установить и затестить проект.

@your_tech