JSON для LLM — всё! Да здравствует Token-Oriented Object Notation 🤖

Каждый, кто хоть раз всерьёз гонял запросы к LLM, знает, как больно бывает смотреть на счётчик токенов. Ты вроде просто отправляешь список пользователей в JSON, а нейросеть уже съела половину твоего бюджета.
TOON обещает сократить потребление токенов чуть ли не вдвое 🔥
Это формат сериализации данных JSON в LLM промпты. Он представляет те же объекты, массивы и примитивы, что и JSON, но в синтаксисе, который минимизирует количество токенов и упрощает понимание структуры для моделей.

Токен-ориентированная объектная нотация — это компактное, удобное для восприятия представление модели данных JSON для запросов LLM. Она обеспечивает сериализацию без потерь тех же объектов, массивов и примитивов, что и JSON, но в синтаксисе, который минимизирует количество токенов и упрощает структуру для моделей.

TOON сочетает в себе структуру YAML с отступами для вложенных объектов и табличную структуру в стиле CSV для однородных массивов. Преимущество TOON — однородные массивы объектов (несколько полей в строке, одинаковая структура для всех элементов), что позволяет достичь компактности, подобной CSV, и при этом добавить явную структуру, которая помогает LLM-программистам надёжно анализировать и проверять данные. Для глубоко вложенных или неоднородных данных JSON может быть более эффективным.

Сходство с CSV является намеренным: CSV прост и универсален, и TOON стремится сохранить эту узнаваемость, оставаясь при этом без потерь и простым представлением JSON для больших языковых моделей.