Про AI автономных агентов и первый опыт с Anthropic computer.

Вчера с интересом прочитал про новый продукт Anthropic Computer и сразу его попробовал в действии. По замыслу создателей это автоматизация, которая должна стать умнее RPA (например UiPath) за счет использования LLM, позволяя ИИ взаимодействовать с программами так, как это делает человек: читать информацию на экране, вводить текст, кликать по кнопкам и даже переключаться между окнами.

Для выполнения задач Claude 3.5 Sonnet получает команды, анализирует экранные изображения и ищет нужные элементы, используя координаты для точного управления курсором. Этот подход снижает зависимость от устаревших RPA «жестких» скриптов, которые ломаются при малейших изменениях интерфейсов.

Установка Docker и запуск скриптов заняла минут 15 и агент сходу заработал на Mac. В качестве эксперимента попросил найти в Google рекомендации ресторанов в Атланте и сложить в текстовой файл, а также Excel табличку. Результат получился приемлимый, но на просьбу зайти в мой аккаунт и записать это в моем Evernote система ответила жестоким отказом, сославшись на безопасность и политики использования. Не смог сходу найти интересные use cases для применения этой инновационной системы, так как пока она отказывается куда-либо логиниться.

Поверхностный поиск статей в Google по безопасности решения выдал примеры атак “prompt injection”, когда злоумышленники могут внедрить скрытые инструкции в документы или веб-страницы. Такой метод может заставить Claude выполнять опасные действия, включая загрузку и запуск вредоносных файлов.

Польские исследователи решили выяснить, сколько LLM-агентов сейчас бродят по интернету в попытках автоматом взломать серверы. Для этого они развернули по сети серверы с названиями, похожими на государственные службы, и настроили систему логгирования попыток взлома.

Результаты показали, что из примерно миллиона попыток взлома только 6 выглядели как действия ИИ-агентов — и все эти попытки пришли из Индии. Вот подробности проекта.

Можно предположить, что автономных агентов будет совсем скоро очень много и они будут сильнее умнее первых версий Claude.