Tiny LLM — запускаем LLM-сервис за неделю

Это небольшой курс-гайд, где шаг за шагом показывается, как с нуля (на чистых матричных операциях) поднять модель Qwen2-7B, а затем оптимизировать её производительность.

Неделя 1: просто на Python, без “чёрной магии”

Неделя 2: оптимизации, C++ / Metal ядра

Неделя 3: батчинг и масштабирование сервиса

Подходит системным инженерам, которые хотят прозрачности — увидеть, из чего состоит работа LLM-сервера, без слоёв абстракций.
Работает с MLX (для Apple Silicon) и проверяется через сравнение с CPU-реализацией на PyTorch.

🔗 Подробнее: https://skyzh.github.io/tiny-llm/