Экономим токены! Нашел в иксе: Toon или token oriented object notation.

Это новый формат записи объектов с целью сократить количество токенов, которыми ллм все кодирует. По тестам автора экономия достигает 40-60%! В то время как качество не падает, а на некоторых сетях даже растет.

Это важно не только для экономии денег, но и ресурсов. Когда у вас есть лимит на количество токенов в контексте или для выдачи - в таком формате вы упакуете больше информации.

Для моего приложения мне придутся переписать библиотеку на swift, но и эту версию я планирую потыкать внимательно.

https://github.com/johannschopplich/toon/tree/main/benchmarks