OMLX превращает Mac в локальный сервер для Codex, Claude Code и Hermes

Если у вас Mac на Apple Silicon и вы хотите запускать ИИ на своей машине, посмотрите на OMLX. Репозиторий появился в феврале и уже собрал более 20 тысяч звёзд.

OMLX решает проблему, которая быстро появляется при работе с локальными агентами. Модель снова и снова получает большой системный промпт, историю диалога и файлы проекта. Пересчитывать весь этот контекст дорого и медленно.

Поэтому здесь многоуровневый KV-кэш. Часто используемые блоки остаются в оперативной памяти, холодные уходят на SSD. Когда следующий запрос начинается с уже знакомого контекста, сервер восстанавливает его с диска вместо повторного вычисления. Кэш сохраняется даже после перезапуска сервера.

Это особенно полезно для Claude Code и других инструментов, которые долго работают с одним проектом. В README отдельно описана оптимизация Claude Code, а в панели есть готовые настройки для Codex, Hermes Agent, OpenClaw, OpenCode, Copilot и Pi.

Снаружи OMLX выглядит как локальный OpenAI API и Anthropic Messages API. Внутри он умеет обслуживать несколько моделей, закреплять нужные в памяти, автоматически выгружать редко используемые и ограничивать общий расход памяти, чтобы не положить весь Mac.

Управление вынесено в нативное приложение для строки меню macOS. Там можно запускать сервер, загружать модели, смотреть скорость и менять настройки без терминала.

Поддерживаются языковые модели из экосистемы Apple MLX, визуальные модели, распознавание текста, эмбеддинги и реранкеры. Для Qwen в текущем README указана серия Qwen3.5. Упоминание Qwen3.8 из исходного описания не подтверждается.

OMLX не заменяет саму модель и не добавляет памяти вашему Mac. Его задача практичнее: превратить доступное железо в управляемый локальный сервер, к которому можно подключить привычных агентов.

Лицензия Apache 2.0. Установка через готовое приложение или Homebrew.

🧱🔧🧬📈💎🟣🟢

GitHub: репозиторий OMLX.