Хочу дополнить из личного опыта недавнего.

Активно играюсь с Hermes и как раз пытаюсь сделать "умного" помощника с долговременной памятью, голосом S2S и визуальным образом.
Я в восторге вообще. Это совсем иной уровень автономности. Не надо сидеть и тыкать постоянно разрешения на каждый чих и разбираться, что он там нахерачил.

Что касается безопасности, то уже давно по интернету гуляет множество рассказов про проблему всех подобных агентов: у них слишком большие полномочия и доступ ко всему.
А если доступ не давать, то это конченный дроч, когда надо постоянно тыкать "разрешаю".

Что с этим делать:
1. Полностью изолировать агента на отдельной машине. У меня лежал старенький ноутбук, я переустановил там винду чистую. Я знаю, что блогеры и разработчики арендуют VPS под это дело если нет других вариантов. Но с ноутом или компом лучше, я на своей 1060 (6gb) даже могу модели запускать легёнькие для элементарных задач.

2. Обязательно!!! складывайте всё в гит. У меня эта паскуда самоубилась через неделю, когда пыталась "улучшить" свои системные промпты. Да, это не безопасно, но я рот топтал сам в неё лезть и чё-то там руками править. Поэтому всегда должен быть бекап на каждый проект и на важные системные файлы агента, на случай подобного.

3. Все API ключи должны быть ограничены в доступах — только чтение там где лежат чувствительные данные. В гите ничего удалять он не может, потому что ограничение на ключе. Вся эта херня с "я пропишу ему запрет в промпте" — не работает от слова совсем. Вопрос времени когда он вам всё удалит к хуям, включая бекапы.

4. Бекапы баз данных обязательны, причём на отдельную от агента машину. Я настроил скриптами регулярную выгрузку в отдельный google drive, чтобы не мешать с личными документами. Делается очень легко, скажите агенту: "настрой rclone".

Проблема которую я решить пока что не смог:
Во всех проектах есть Api ключи, токены, секреты которые никуда никогда не должны утекать. В том числе в промпты самой LLM. Надёжного способа спрятать их на машине где стоит агент — нет. Секреты, запароленые файлы, отдельная виртуалка. Всё это не работает, потому что вам в любом случае нужно сначала запросить эти вещи для вставки в куски кода, а после этого агент уже всё это видит, либо может прочитать через консольные команды.
Если кто-то знает как решить эту проблему, то делитесь.🪄