Alexey S провел небольшое сравнительное исследование подходов skills vs tree docs для кодовых проектов.
Вот отчет, которым он сегодня поделился в группе летнего вебинара по AI Coding (выделение болдом - мое):
Сравнил подход tree docs vs skills для нескольких маленьких проектов и для большого (fastapi). Сравнивал точность ответов и вызов подразумеваемых вопросом скиллов / доков при ответе на вопрос. tree docs побеждает буквально везде (и в клоде, и в кодексе). Также для клода выяснилось две неприятные особенности - когда вопросы утилитарного характера он напрочь забывает про скиллы и сразу лезет в код часто (в доках этого эффекта нет), зато с tree docs он тратит на 30 процентов больше токенов (в codex этого нет - налог на использование клод - судя по всему, перемудрили с тем, как размечают кэш).
для маленьких проектов все отлично работает, по мере роста кодовой базы tree docs начинает выигрывать все заметнее
> а tree docs самописный или утилита готовая?
самописный, как в вебинаре - инструкция делать tree docs в AGENTS.md и инструкция как называть файлы чтобы из названия было понятно, про что они
Еще неприятный момент с клодом - выяснилось, что он у тулов обрезает описания в контексте. Судя по всему там бюджет 1% от макст контекстного окна на скиллы - все что не влезает получает только название скила, без описания. При этом заранее непонятно, какие обрежутся - на скриншоте они по алфавиту, а обрезаны по какому-то другому признаку
Можно задавать вопросы тут. Алексей есть в нашем чате - @holohup, LinkedIn.
И сразу поделюсь конкретикой. Progressive disclosure через tree docs у меня подключается одной инструкцией в AGENTS.md:
Always run `tree docs` at the beginning to get an overview of durable documents. Before changing documentation read `document_writing.md`.
Пример
document_writing.md скинул в комментарии. Можете посмотреть сами и попробовать повторить исследование на своих проектах.Ваш, @llm_under_hood 🤗