🟠 Svelte — головний герой цієї історії про токени. І найдивніший.

Бо за всіма законами токенізації мав би програти. А він виграє.

Розберемо детально.

Сторона перша: стиснення (tokenizer affinity). Текст однакової довжини перетворюється на різну кількість токенів — це і є стиснення. У токенізатора є чесний показник — «токенів на символ» (tokens-per-char): чим нижче, тим щільніше код лягає в модель. Svelte тут має 0.320 — НАЙГІРШЕ значення в усій групі. Його синтаксис шаблонів напханий пунктуацією, яка просто не стискається. SolidJS для порівняння — 0.269, найкраще в тесті.

За цією логікою Svelte у хвості. Логічно?

Сторона друга: обсяг (verbosity). А тепер питання, яке ми забуваємо поставити — скільки взагалі коду довелося написати? І ось тут Svelte розвертається. Ті самі 5 компонентів він описує найкоротше з усіх. Бо за нього думає компілятор: ти ставиш count++ — він сам розгортає це в реактивність. React змушує виписати setCount і useEffect руками. Angular зверху ще накидає декоратори — @Component, standalone, imports.

Сторона третя: підсумок. Краща токенізація програє меншому обсягу коду. SolidJS стискається найкраще в цьому тесті — і все одно програє, бо коду в нього більше. Svelte бере не щільністю символів. Він бере тим, що символів узагалі менше.

Саме тому головний висновок не про Svelte. Він про те, від чого насправді залежить вартість коду для LLM. Її визначають два незалежні фактори:

1️⃣ наскільки ефективно код токенізується;
2️⃣ скільки цього коду взагалі довелося написати.

Більшість порівнянь зосереджується саме на першому факторі. Svelte показує, що другий фактор може виявитися важливішим.

Під мікроскопом важлива токенізація. У рахунку — обсяг коду.

#TokenEconomics #LLM #Svelte