Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.
✔️ Основные нововведения:
Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS.
В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами.
Для интеграции с Python используется пакет
xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.Чтобы начать использовать Xet, установите дополнительную зависимость:
pip install -U huggingface_hub[hf_xet]После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.
Доплнительно:
😶 Расширен InferenceClient:
😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere.
😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы.
😶 Улучшен CLI
😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include).
😶 Команда
huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size).✔️ Полный список обновлений
✔️Блог
✔️Документация по Xet
@ai_machinelearning_big_data
#huggingface #release #xet