Пока свежее и не все знают, оставлю тут: появился сильно более эффективный аналог JSON для работы с моделями - TOON (Token-Oriented Object Notation) https://github.com/toon-format/toon.
При токенизации даёт весьма крутые результаты, можете сами потыкать https://platform.openai.com/tokenizer
Post #1908
10.4K
