GigaToken — токенизатор на Rust, который в 500–1000× быстрее HuggingFace

Marcel Røed выложил open-source токенизатор, который на реальных бенчмарках показывает 280–1353× ускорение против HuggingFace tokenizers и до 681× против tiktoken. На dual-socket EPYC достигает 24 ГБ/с. Можно токенизировать весь Common Crawl за <7 часов на одной машине.

SIMD + агрессивный pretoken-кэш + минимум Python round-trips. Уже трендит на HN и r/LocalLLaMA.

Источник: github.com/marcelroed/gigatoken

#GigaToken #LLM #Tokenization #Rust #Performance