☕️☕️☕️☕️☕️☕️☕️☕️☕️☕️
«Tokenizer»

☕️Хэллов, таво юзеры! Вельвет снова беспокоит, не бейте пж 👋
☕️Написала скрипт, который считает токены в каждом сообщении. Из-за того, что в таво нет своего токенайзера, как, например, в таверне, пришлось изощряться: чистая математика подсчета символов с коэффициентами. Для каждой модели свои, актуальные для самых новых моделей.
☕️Клод, гемини и гпт оценили работу скрипта на ~95% точности.

☕️Что внутри?
☕️Скрипт для подсчета токенов математическим путём.
☕️Несколько «формул» актуальных токенайзеров для разных иишек.
☕️Скрипт на возможность менять «формулы» подсчета в зависимости от того какой ии-моделью вы пользуетесь.

☕️Вставлять в регексы. Файл можно забрать тут.

╰⪼ #полезное@kitchencf ☽˖°ˎˊ˗