🖥 Реализация модели Llama 3 на чистом NumPy

Держите подробный гайд по созданию Llama 3 только средствами Python и библиотеки NumPy.
В качестве источников вдохновения и примеров использовались такие реализации:
— llama2.c
— llama.np
— modeling_llama.py — с Hugging Face

$ python llama3.py "I have a dream"
"""
I have a dream. He dream of a big, beautiful garden full of flower and tree. He dream of playing with hi friend and eating yummy snack.
One day, he wa walking in the garden when he saw

Token count: 50, elapsed: 1.53s, 33 tokens/s
"""

🖥 GitHub
🟡 Подробное описание реализации

@pythonl