Если вам не нравится, что при работе с ИИ история, настройки и данные отправляются на чужие серверы, стоит посмотреть на Apache Maka.

https://github.com/apache/maka

Это локальная обвязка для ИИ-моделей, которая по умолчанию хранит сессии, настройки и журналы выполнения на вашем устройстве.

Можно подключить облачный API, локальную модель или совместимый шлюз.

Maka записывает весь ход работы - ответы модели, вызовы инструментов, решения по разрешениям и завершение задач.

Настольное приложение, TUI и CLI используют один Runtime Host. Если процесс упал, состояние можно восстановить из журнала.

Сам Runtime Host можно держать на своей машине или сервере и подключаться к нему удалённо.

Отдельно стоит посмотреть на архитектуру Maka. Разработчики открыли подробную документацию, где разобраны Runtime Host, хранение состояния, восстановление после сбоев, границы компонентов и удалённые подключения.

Если интересно, как вообще проектировать обвязку для агентов, там очень много полезного.

Пока проект активно развивается, поэтому формат данных, команды и экспериментальные фичи ещё могут меняться.

Есть сборки для macOS, а Windows и Linux пока доступны как превью.

Бесплатный открытый проект под лицензией Apache 2.0.