Всем привет!
С повсеместным использованием AI-агентов всё чаще встречается вопрос, связанный с информационной безопасностью.
Это породило создание отдельной группы инструментов, задача которых – контролировать происходящее.
Vaikora LLM Gateway является представителем этой группы.
Если просто, то он «находится» между AI-агентами и «конечными системами» (LLM, базы данных, MCP, API и т.д.).
Его задача состоит в перехвате каждого действия, которое хочет совершить агент и анализе его на соответствие определённому набору политик.
Каждому действию присваивается статус:
ALLOW, ALLOW_LOG, CONSTRAIN или BLOCK.На текущий момент Vaikora LLM Gateway работает со следующими LLM: OpenAI, Anthropic, Google Gemini и OpenRouter.
Политики позволяют обнаруживать разные активности: утечку конфиденциальной информации, jailbreak, prompt injection и не только.
Сам по себе «движок правил» является детерминированным и не использует нейронные сети, что позволяет получать идентичные результаты на одни и те же действия.
Подробнее о возможностях утилиты можно прочесть в GitHub-репозитории проекта.