Спустя 5 лет ожидания и 1200 коммитов в ветку main с момента последнего минорного обновления, Transformers переходит на версию 5.0.0.
Это не просто смена цифры: разработчики фундаментально пересмотрели цикл обновлений и логику работы с весами.
Начиная с v5, Hugging Face отказывается от пятинедельного цикла в пользу еженедельных релизов (v5.1, v5.2 и так далее).
Для ML-инженеров это означает, что доступ к новым архитектурам, которые появляются буквально каждый день, будет открываться практически мгновенно, без необходимости устанавливать нестабильные dev-версии.
🟡Главное техническое нововведение — API динамической загрузки весов.
Если раньше чекпоинты загружались ровно в том виде, в котором они были сериализованы, то теперь
WeightConverter позволяет применять операции к слоям прямо в процессе загрузки. Новый API дает возможность определить маппинг архитектуры на список конверсий, т.е трансформировать веса на лету, например, для поддержки MoE или Tensor Parallelism без переписывания логики модели.
🟡Рефакторинг токенизации - второе по значимости изменение.
HF наконец-то избавились от дуализма медленных (Python) и быстрых (Rust) токенайзеров, которые раньше жили в разных файлах.
В v5 теперь единый файл
tokenization_<model>.py, который автоматически выбирает лучший доступный бэкенд. Приоритет отдается
TokenizersBackend на базе Rust, который дает оптимальную производительность и поддерживает параллелизацию. Если Rust недоступен, система откатывается на SentencePieceBackend или PythonBackend.Инициализация токенайзеров стала интуитивной. Теперь можно создать пустой экземпляр и обучить его на своем корпусе с нуля, используя
vocab и merges напрямую. Это унифицирует поведение токенайзеров и моделей: объект определяется своим классом, а не наличием предзагруженных файлов словаря.🟡Важные изменения, о которых стоит знать при миграции
🟢
dtype при вызове from_pretrained теперь установлен в auto. Библиотека сама попытается определить оптимальную точность, что может сэкономить память, но требует внимания к старым скриптам. 🟢изменен размер шардов при сохранении моделей — теперь по умолчанию они разбиваются на куски по 50 ГБ вместо прежних значений, т.е станет проще работать с хабом.
В релиз вошла поддержка новых моделей, в том числе GLM-4.7, Jais2 и Pixio и исправления для специфических кейсов: FP8-квантования и Flash Attention для квантованных моделей.
🔜 Полный список изменений - в Release Notes
@ai_machinelearning_big_data
#news #ai #ml