Одна из самых горячих тем на рынке LLM сейчас: TOON или Token-Oriented Object Notation

Это новый формат записи объектов, заточенный под минимизацию количества токенов. По тестам автора экономия достигает 40–60%, причём качество не падает, а на некоторых моделях даже растёт. Формат прозрачен, как YAML, и при этом такой же компактный, как CSV:

- на 30–60% меньше токенов

- до 50% ниже стоимость

- отлично подходит для табличных данных.

Бесплатно и с открытым исходником. Репозиторий Toon на GitHub

А вот тут можно удобно сравнить количество токенов в разных форматах (CSV, JSON, YAML и TOON) на ваших данных