Тут сейчас активно обсуждают toon - https://github.com/johannschopplich/toon - либа, которая преобразовывает JSON в более компактный вид в целях экономии токенов при работе с LLM.

Но, есть штука интересней - https://github.com/microsoft/LLMLingua.
LLMLingua сокращает текст промпта без потери смысла, и вот это действительно экономит токены очень хорошо, потому как я обычно общаюсь с моделью не JSON'ом, а текстом.

По заявлению MS компрессия текста от 1.5 до 7 раз, в зависимости от текста и от версии 🕺

В readme подробно расписано, как можно ее затестить и посмотреть на результат.

dev notes | golang digest