💻 Печерні промпти і доросла оптимізація

Пів року тому всі рахували, скільки коштує сказати ChatGPT “thanks”. Остання хвиля була смішніша: пиши промпти як печерна людина — коротко, грубо, без зайвих слів — і рахунок за AI нібито впаде на 80–90%.

Звучить як магічний ритуал із LinkedIn. Але мем не повністю бреше. Він просто пропускає головне: масштаб і перевірку на живій системі.

Я прогнав схожу ідею на OpenClaw — agentic-системі з реальним трафіком: 13 агентів з окремими воркспейсами, локальними/шареними скілами, крон-джобами і щоденним активним використанням. За період аналізу система прокрутила ~327M токенів і ~7700 записів використання.

Компресія справді спрацювала. Постійно підвантажені інструкції для agents/skills “схудли” з ~245k до ~132k символів. Мінус 46.2%. За оцінкою “що було б без компресії”, це дало ~37.2M зекономлених prompt/cache токенів за 7 днів.

І ось тут починається доросла частина. У мемі 700 зекономлених токенів у 4k-діалозі виглядають як революція. У реальному agentic-запиті на 100k–150k токенів ті самі 700 токенів — уже не “мінус 90%”. Це корисно, але лише шматок великої системи. На всьому масштабі вийшло близько 12.3% промпт-токенів.

Ще один нюанс: дешевше не завжди означає краще. Задачі здебільшого працювали нормально, але текстура агентів просіла: теплота −26.3%, присутність від першої особи −49.9%, emoji у відповідях −50.9%, шаблонні фрази й ШІ-слоп +54.5%.

Простіше: агент став економнішим, але сухішим, більш шаблонним і менш “живим” у розмові.

Тому висновок не “будь грубішим до моделі” і не “всі ці оптимізації — маячня”. Стиснення промптів — це інфраструктурна робота, а не лайфхак. Вона має сенс, коли є обсяг, метрики й перевірка регресій. Без цього “пиши як печерна людина” — не інженерія, а cost-saving cosplay.

---
🌱 Keep calm and grow | 💬 Обговорити 1-на-1