llamafile - это комбинация llama.cpp и Cosmopolitan libc. Это означает, что вы можете использовать практически любой процессор на любой ОС и упаковать свою модель в один исполняемый файл.
больше→ https://github.com/Mozilla-Ocho/llamafile