Post #61
10
🧭 Проверили, экономит ли граф кода токены агенту. У нас — нет
Есть популярная идея: построить граф кода (кто кого вызывает, импортирует, наследует) и отдать его AI-агенту — пусть ходит по графу, а не перебирает файлы, и тратит меньше токенов. Звучит логично. Решили проверить на себе, а не поверить на слово.
Сразу честно: сам инструмент, который гоняли, строит граф локально и бесплатно — это правда. А вот «экономию токенов при навигации по коду» как измеримое обещание он и не даёт — это мы сами захотели померить.
🟢🔬 Замер — симуляция «экономного агента»: 9 вопросов разных типов на трёх TypeScript-репозиториях (NestJS/gRPC). Для каждого сравнили: пойти через граф против одного точного поиска по коду.
🟢📈 На наших вопросах граф вышел дороже примерно на 20% (18 обращений против 11) и при этом менее полным.
🟢✂️ На точечных вопросах («кто использует класс», «где определено») обычный поиск короче в разы — граф тащит структуру, которую ещё надо оплатить токенами.
🟢✅ Единственное, где граф реально выручил — поймать расхождение контрактов между сервисами. Ровно ради этого и сделали вывод: вынесем такую проверку в отдельный гейт на CI.
Граф кода — не универсальная экономия, а инструмент под узкую задачу. Кому-то он окупится (сессии, что читают огромные файлы целиком; карта архитектуры для онбординга) — это мы не мерили. Мораль прежняя: любую «экономию» меряешь на своих задачах, а не на чужих слайдах. И да — это наш результат на нашем стеке и девяти вопросах, а не приговор инструменту.
Есть популярная идея: построить граф кода (кто кого вызывает, импортирует, наследует) и отдать его AI-агенту — пусть ходит по графу, а не перебирает файлы, и тратит меньше токенов. Звучит логично. Решили проверить на себе, а не поверить на слово.
Сразу честно: сам инструмент, который гоняли, строит граф локально и бесплатно — это правда. А вот «экономию токенов при навигации по коду» как измеримое обещание он и не даёт — это мы сами захотели померить.
🟢🔬 Замер — симуляция «экономного агента»: 9 вопросов разных типов на трёх TypeScript-репозиториях (NestJS/gRPC). Для каждого сравнили: пойти через граф против одного точного поиска по коду.
🟢📈 На наших вопросах граф вышел дороже примерно на 20% (18 обращений против 11) и при этом менее полным.
🟢✂️ На точечных вопросах («кто использует класс», «где определено») обычный поиск короче в разы — граф тащит структуру, которую ещё надо оплатить токенами.
🟢✅ Единственное, где граф реально выручил — поймать расхождение контрактов между сервисами. Ровно ради этого и сделали вывод: вынесем такую проверку в отдельный гейт на CI.
Граф кода — не универсальная экономия, а инструмент под узкую задачу. Кому-то он окупится (сессии, что читают огромные файлы целиком; карта архитектуры для онбординга) — это мы не мерили. Мораль прежняя: любую «экономию» меряешь на своих задачах, а не на чужих слайдах. И да — это наш результат на нашем стеке и девяти вопросах, а не приговор инструменту.
- 👍 1
