Пост (от декабря): https://huggingface.co/blog/transformers-v5
Полный список изменений: https://github.com/huggingface/transformers/releases/tag/v5.0.0
- Теперь токенизаторы используют только tokenizers, что раньше было
fast. Более подробно можно прочитать в их блоге https://huggingface.co/blog/tokenizers- Теперь dtype будет
auto по дефолту (раньше было fp32)- Убрали
load_in_8bit и теперь надо передавать конфиг напрямую- Много аргументов в трейнере поменяли. Например,
report_to теперь по дефолту none- Также сделали методы для получения отдельных модальностей у модели для SentenceTransformers, так что ждем когда появится новая версия