DeepMind показали SIMA (предлагаю так и читать, Сима), ИИ агенте, обучающемся навыку играть в игры как человек. Т.е. буквально это агент, который играет в обычные игры вроде No Man's Sky, Goat Simulator и мой любимый Valheim, чтобы научиться играть так, как это делают живые люди. ИИ учится на разных играх, так чтобы потом получая новую игру он смог разобраться в ней, как люди. И для обучения он считывает содержимое экрана и издает сигналы от мыши и клавиатуры, как человек. Ничего не прочитал про восприятие звука, но было бы очевидно использовать и его тоже.

Не думайте что это просто забава, ИИ наученный играть в игры потенциально может взаимодействовать так же и с реальным миром, не так уж сильно они отличаются [o] https://www.theverge.com/2024/3/13/24099024/google-deepmind-ai-agent-sima-video-games