🦙 Ollaya: запуск моделей принятия решений в стиле Ollama.

Скачиваете модель, поднимаете локальный сервер и получаете через API категорию, оценку или вероятность «да». Без генерации текста и разбора ответа LLM.

Подходит для сортировки обращений, модерации, определения намерений и маршрутизации запросов.

Что есть:

• Laya, Decider, NLI, GLiClass и другие модели.
• Работа на CPU и GPU.
• API, совместимый с TypeSafe.
• MCP для подключения к Claude Code, Cursor и другим агентам.
• Windows, Linux и macOS, включая Apple Silicon.

Для старта без NVIDIA GPU автор рекомендует Laya. Есть мультиязычная версия с поддержкой более 100 языков.

Проект написан на Rust, лицензия Apache 2.0. У самих моделей сохраняются собственные лицензии.

https://github.com/ollaya-dev/ollaya