nexa-sdk

Если хочется запустить быстрый, полностью офлайн и бесплатный AI-модель прямо на своём компе или телефоне, можно посмотреть в сторону Nexa SDK. Это open-source проект.

По сути, сейчас это одно из самых интегрированных и полноценных решений на рынке среди опенсорса, с нормальной экосистемой и инструментарием.

За счёт собственной технологии сжатия моделей он спокойно работает без интернета и за миллисекунды прогоняет поиск по тысячам локальных фотографий.

С обработкой десятков тысяч чувствительных документов тоже проблем нет. Все данные остаются на устройстве, так что по безопасности и приватности это сильно выигрывает у облачных API.

Есть полная совместимость с OpenAI API, поэтому его можно без боли встраивать в уже существующие дев-воркфлоу.

Плюс в комплекте идёт готовый CLI. Одна команда — и модель скачана и запущена. Вкатиться можно буквально за пару минут.

📁 Language: #Go 50.8%

⭐️ Stars: 6.5k

➡️ Cсылка на GitHub

📱 @git_developer