💻 Оптимізація, яка спрацювала. І майже не мала сенсу

Дуже легко закохатися в оптимізацію, яка гарно виглядає в цифрах. Мінус 30% тут, мінус 500 токенів там — і вже здається, що ось воно, інженерне щастя.

Я нещодавно так стиснув інструкції для свого тьютора німецької в OpenClaw. Це агент, який на старті кожного діалогу тягне за собою чималий пакет правил: роль, тон, поведінку, підказки по інструментах, пам’ять, робочі процедури. Ідея була проста: винести необов’язкове в посилання, а основне переписати коротше й простіше — але не зламати саму поведінку.

Технічно все вийшло дуже пристойно. Базовий пакет інструкцій зменшився з 7422 до 5192 символів. У середньому це дало мінус 500+ токенів на API call. Для мовного тьютора це вже відчутно: звичайна практика легко набирає 50 коротких реплік у дві сторони, тобто одна розмова може зекономити десь 25 тисяч токенів. На цьому місці дуже хочеться сказати: ну все, перемога.

Але доросла частина інженерії починається саме тут. Бо оптимізація — це не лише про те, скільки вдалося зекономити. Це ще й про те, скільки коштувало довести, що ти нічого не зламав.

Підготовка, переписування, прогони, перевірки, документація, фінальне допилювання — сумарно цей експеримент з’їв близько 16.7 мільйона токенів. Щоб така економія відбилася, треба майже 30 тисяч запусків. Або приблизно 600 повних навчальних діалогів. Тобто відповідь вийшла кумедна: як технічний експеримент — успіх, як окреме бізнес-рішення — майже ні.

І це, мабуть, найкорисніший висновок. Не кожна неефективність заслуговує на твій час. Не кожна красива оптимізація варта того, щоб за неї битися. Іноді найдоросліше інженерне рішення — чесно визнати: метод хороший, але інвестував не туди.

---
🌱 Keep calm and grow | 💬 Обговорити 1-на-1