🔍 OmniParser — это инструмент от Microsoft, предназначенный для разбора и анализа интерфейсов приложений на основе скриншотов

🌟 OmniParser позволяет распознавать и структурировать элементы интерфейса, обеспечивая, чтобы визуальные агенты на основе GPT могли ориентироваться и взаимодействовать с различными GUI-компонентами. OmniParser поддерживает модель для обнаружения интерактивных областей и описания иконок, делая возможным создание агентов, ориентированных на визуальное восприятие

🔐 Лицензия: CC-BY-4.0

🖥 Github

@data_analysis_ml