Если хочется развернуть у себя на ПК или телефоне быструю AI-модель, без интернета и бесплатно, можно посмотреть на open-source проект Nexa SDK.

По сути, сейчас это одно из самых интегрированных и полноценных решений на рынке среди опенсорса, с нормальной экосистемой и инструментарием.

За счёт собственной технологии сжатия моделей он спокойно работает без интернета и за миллисекунды прогоняет поиск по тысячам локальных фотографий.

С обработкой десятков тысяч чувствительных документов тоже проблем нет. Все данные остаются на устройстве, так что по безопасности и приватности это сильно выигрывает у облачных API.

Есть полная совместимость с OpenAI API, поэтому его можно без проблем встраивать в уже существующие дев-воркфлоу.

Плюс в комплекте идёт готовый CLI. Одна команда, и модель скачана и запущена. Вкатиться можно буквально за пару минут 🎅