Департамент Разработки — комьюнити про эффективную разработку и всё, что рядом.
Здесь встречаются разработчики, архитекторы, автоматизаторы и просто любопытные умы. Мы рассказываем последние новости индустрии, делимся инсайдами и кейсами от разработчиков.
Post #612
62

GigaToken — токенизатор на Rust, который в 500–1000× быстрее HuggingFace
Marcel Røed выложил open-source токенизатор, который на реальных бенчмарках показывает 280–1353× ускорение против HuggingFace tokenizers и до 681× против tiktoken. На dual-socket EPYC достигает 24 ГБ/с. Можно токенизировать весь Common Crawl за <7 часов на одной машине.
SIMD + агрессивный pretoken-кэш + минимум Python round-trips. Уже трендит на HN и r/LocalLLaMA.
Источник: github.com/marcelroed/gigatoken
#GigaToken #LLM #Tokenization #Rust #Performance
Marcel Røed выложил open-source токенизатор, который на реальных бенчмарках показывает 280–1353× ускорение против HuggingFace tokenizers и до 681× против tiktoken. На dual-socket EPYC достигает 24 ГБ/с. Можно токенизировать весь Common Crawl за <7 часов на одной машине.
SIMD + агрессивный pretoken-кэш + минимум Python round-trips. Уже трендит на HN и r/LocalLLaMA.
Источник: github.com/marcelroed/gigatoken
#GigaToken #LLM #Tokenization #Rust #Performance
- 👨💻 4
- 🆒 4
- 👀 3
- ❤ 1


















