Llama-3.1-Storm-8B - инструктивная модель, сочетающая в себе баланс размера и производительности, ориентированная на использование в приложениях и сервисах, генерацию текста, вызов функций и чат-ботов.
Модель обучалась на 1 миллионе высококачественных образцах из большого датасета (2.8M), отобранных вручную. Образцы оценивались на основе образовательной ценности и уровня сложности, чтобы модель могла получить релевантные и сложные данные в качестве тренировочной базы.
Полученный набор данных использовался для контролируемого файнтюна базовой Llama-3.1-8B-Instruct c применением методологии SPECTRUM. В завершении, полученная модель была объединена с моделью Llama-Spark методом сферической линейной интерполяции SLERP.
🟠Llama-3.1-Storm-8B : базовая модель;
🟠Llama-3.1-Storm-8B-FP8-Dynamic : оптимизированная версия с динамическим квантованием с более низкими требованиями к VRAM (на 50%);
🟢Llama-3.1-Storm-8B-GGUF : квантованные версии с разрядностью от 4-bit (5 Gb) до 8-bit (8.5 Gb) для использования с llama.cpp и ollama (поддержка есть в последнем обновлении).
Локальный запуск Llama-3.1-Storm-8B поддерживается в Transformers, vLLM и LitGPT.
▶️Формат промпта для Function Calling:
You are a function calling AI model.
You may call one or more functions to assist with the user query.
Don't make assumptions about what values to plug into function.
The user may use the terms function calling or tool use interchangeably.
Here are the available functions:
<tools>LIST_OF_TOOLS</tools>
For each function call return a json object with function name and arguments within <tool_call></tool_call> XML tags in the format:
<tool_call>{"tool_name": <function-name>, "tool_arguments": <args-dict>}</tool_call>
⚡️Лицензирование : Llama 3.1 Community License
▪Demo
▪Набор моделей
▪Google Collab (инференс)
@ai_machinelearning_big_data
#AI #Llama #LLM #ML