Claude Computer Use прогрессирует и учится взаимодействовать с пользовательскими интерфейсами. В примере показана игра Honkai: Star Rail. На самом деле, любая пошаговая JRPG подойдёт. Я сразу подумал про боёвку в BG3, а в PDF с описанием обновлений модели увидел примеры с Hearthstone. В прошлых постах вы писали про кейсы с покером — возможно, тоже зайдёт, но не играйте на деньги!

В итоге мне, конечно, хотелось бы запустить это всё на песочнице типа Sims и заставить Claude жить его лучшую жизнь😡

Прогрессия в управлении интерфейсами, не сказать, что идёт быстро. Модель всё ещё не умеет скроллить страницы, а без этого понимание того, что происходит на экране, не полное. К тому же разрешение входных скриншотов тоже имеет критическое значение.

Я частенько вижу статьи о том, что скалирование моделей упирается в том числе в нехватку данных. Интерфейсы и игры — это одно из окон возможностей, но куда больше модели смогут получить, если им дадут возможность видеть просто через камеру. В ближайших релизах у OpenAI как раз планируется такой функционал.

Project
Code