🚀 NVIDIA Llama 3.1 Minitron 4B создана на основе Llama 3.1 8B.

- В 40 раз меньше токенов
- В 1,8 раза меньше затрат
- На 16% выше производительность
- 4 миллиарда параметров
⚖️ работает наравне с моделями 8B
✅ Обрезка и дистилляция
✅ Создание эффективной модели искусственного интеллекта
✅ Требуется меньше данных для обучения

https://developer.nvidia.com/blog/how-to-prune-and-distill-llama-3-1-8b-to-an-nvidia-llama-3-1-minitron-4b-model/