Это репозиторий для Llama 3.1 - то же самое, что nanoGPT для GPT-2. то есть это минимальная реализация архитектуры Llama 3.1 без зависимостей, и ее можно очень просто обучать, настраивать и выводить. Это можно сравнить с официальным выпуском кода от Metal и реализацией huggingface, которые содержат более сложные зависимости и намного больше кода (например, fair).

В настоящее время код основан на базовой модели 8B в Llama 3.1.

WIP., активно разрабатываемый, не готовый к прайм-тайму.

https://github.com/karpathy/nano-llama31/tree/master

@machinelearning_ru