LLaMA
Большая языковая модель, выпущенная Meta AI в феврале 2023 года. Были обучены модели различных размеров в диапазоне от 7 до 65 миллиардов весов.

В гите переписанная однофайловая Rust-реализация Llama2. Изначально это был Rust-порт llama2.c от Karpathy, но теперь в нем появилось больше функций, позволяющих масштабировать его до 70B:

Поддержка 4-разрядного GPT-Q квантования
Поддержка группового внимания к запросам (требуется для крупных лам)
Сопоставление памяти, загружает 70B мгновенно.
Статические проверки размера, никаких указателей

https://github.com/srush/llama2.rs