llama.cpp

Порт ИИ Facebook LLaMA на чистом C/C++ с использованием 4-битного квантования.

Простыми словами ИИ равный по мощности GPT-3, который вы можете запустить у себя на устройстве.

Чуть подробнее: https://t.me/black_triangle_tg/3490

Работает на Mac OS, GNU/Linux, Windows (via CMake), Android (Termux)

https://github.com/ggerganov/llama.cpp