TGViewer
Machinelearning Machinelearning @ai_machinelearning_big_data · 279K subscribers
Post #10488 31.2K
🌟 Контекст в PNG экономит токены до 70%

Pxpipe - локальный прокси, который перед отправкой запроса ассистенту превращает куски контекста в картинки.

Приём эксплуатирует особенность тарификации - текст стоит примерно один токен за символ, а изображение - фиксированное число токенов, зависящее только от размера в пикселях, а не от объёма текста внутри.

На плотном контенте в один визуальный токен удаётся упаковать около 3,1 символа.

🟡Механика

Прокси перехватывает запросы к Claude Code и рендерит в PNG самые объёмные и редко меняющиеся блоки (системный промпт, документацию инструментов и старую историю переписки).

Свежие сообщения и ответы модели идут обычным текстом.

Пример: около 48 тыс символов системного промпта и документации, которые как текст стоили бы примерно 25 тыс токенов, помещаются на одну PNG-страницу за ≈2700 токенов.

На Fable 5 стоимость сессии упала с 42 до 6 долларов.


🟡 Тесты

Fable 5 читает такие рендеры практически без потерь (100% на бенчмарке с новыми задачами), а вот Opus 4.7 и 4.8 ошибаются примерно на 7% изображений.

GPT 5.5 тоже деградирует на картиночном контексте, поэтому обе модели по умолчанию выключены и включаются вручную.

🟡Плата за экономию в потере точности

На методе lossy важные строки вроде хешей и идентификаторов при чтении с картинки могут исказиться.

Хуже когда промахи выглядят не как ошибки, а как правдоподобные выдумки.

Зрение модели это не OCR, изображение превращается в патч-эмбеддинги, и там, где пикселей не хватает, языковая модель просто достраивает похожее.


Второй минус - это скорость. PNG-кодирование добавляет задержку из-за использования визуальныго энкодера, что дольше, чем чтение текста.

Надеемся, что при массовом распространении такого трюка вендоры не поднимут цены на обработку изображений.


📌Лицензирование: MIT License


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Coding #Pxpipe
  • 🤔 66
  • 🔥 28
  • 👨‍💻 19
  • ❤ 16
  • 🤣 12
  • 👏 10
  • 😁 8
  • 🥰 4
  • 👍 3
  • 💯 1
More from @ai_machinelearning_big_data
  1. Oct 2, 2026🌟 Cloudflare выпустила открытые модели решений Clef Обе модели, Clef и Clef-flash, вышли…
  2. Oct 2, 2026✔️ ВКонтакте научила Ленту отличать интерес к контенту от намерения купить Инженеры AI VK…
  3. Oct 2, 2026✔️ Anthropic раздаёт бесплатные плюшевые игрушки и стикеры На сайте для разработчиков clau…
  4. Oct 2, 2026🌟 SGLang научил чат-модели отвечать вероятностями Команда открытого движка инференса SGLa…
  5. Oct 1, 2026🌟 Bilibili выложила открытые модели перевода Index-Translate Команда Index LLM китайского…
  6. Oct 1, 2026✔️ Президент США и главы ИИ-компаний подписали соглашение о безопасности Документ подписал…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →