Как LLM ориентироваться в GUI?
Vison модели очень не точны и дороги в обучении и инференсе, html подходы требуют просто невероятных размеров контекстных окон для того чтобы скушать фронтенд даже простых сайтов (и в целом не всякая ллм в современный фронтенд может🙃), так что ReworkedAI предложили чуть более экзотичный вариант - двумерную лламу

Коротко о LLama 2d - добавляем в LLM помимо обычных позиционных эмбедингов текста, 2d эмбединг положения надписи на странице в целом. После чего учим это на спаршеных и затем отрендереных страницах интернета.

Если чуть более подробно - моя статья на хабре

А еще там про стартап от создателей трансформеров (авторов Attention is all you need) который делал такое же ЕЩЕ ДО ВЫХОДА CHAT GPT