Skyvern - автоматизирует рабочие процессы в браузере, используя LLM-ы и компьютерное зрение. Он предоставляет SDK, совместимый с Playwright, который добавляет функциональность ИИ поверх Playwright, а также конструктор рабочих процессов без кода, который помогает как технически подкованным, так и нетехническим пользователям автоматизировать ручные рабочие процессы на любом веб-сайте, заменяя ненадежные или неэффективные решения для автоматизации.

Традиционные подходы к автоматизации браузера требовали написания пользовательских скриптов для веб-сайтов, часто полагаясь на анализ DOM и взаимодействие на основе XPath, что приводило к сбоям при изменении структуры веб-сайта.

Вместо того чтобы полагаться исключительно на взаимодействие с помощью XPath, определяемого кодом, Skyvern использует LLM в области Vision для изучения веб-сайтов и взаимодействия с ними.

DВозможности:
- может работать на веб-сайтах, которые он никогда раньше не видел, поскольку способен сопоставлять визуальные элементы с действиями, необходимыми для завершения рабочего процесса, без какого-либо написания пользовательского кода.
- устойчив к изменениям в структуре сайта, поскольку наша система не использует заранее определенные XPath-метки или другие селекторы при навигации.
- способен взять один рабочий процесс и применить его к большому количеству веб-сайтов, поскольку он умеет анализировать взаимодействия, необходимые для завершения этого процесса.

https://github.com/Skyvern-AI/skyvern

Опубликовано в @gitgate

#ai #vision #automation