Попробовал-потестил (правда, еще без своей памяти). В принципе, все работает как и ожидалось, никаких неожиданных плюсов или минусов не появилось.
Кроме одного, пожалуй: это цена.
Каждый составленный план проходит 2 круга составление-ревью, со второго захода на ревью он получает аппрув. Я разрешил 3 на всякий случай, но еще ни разу не понадобилось.
Так вот: на составление плана уходит очень мало токено/денег. Что-то в районе 5-7 центов. На ревью - вообще копейки. Но умножаем это на 2, и получаем уже больше 10 центов только на составление плана. А следом идет еще и его реализация. Которая неизбежно багованная, но моделька сама ищет и исправляет баги, а это - еще большее количество циклов и раздувание контекста, как бы я ни пытался порубить это добро на субагентов.
Тут надо оговориться еще, что составление плана я от модельки требую на каждый чих, который сложнее прямого ответа на вопрос или редактирования одной строчки. Сильно повышает качество результата ее работы. В среднем мое обычное использование LLM для разработки через Pi выходит от $1.5-2 баксов в день. Обычное - это то, как я использую $20 подписку Клода. Будет подписка за 200 - "обычное" станет совсем другим, конечно 😁
Невозможность запустить суб-суб-агентов.
Я не нашел решение, которое позволялов бы запустить субагента из субагента. А жаль: это было бы очень удобно. Как описывал выше, например: чтобы архитектор не сам лазял по коду, а запустил исследователя и пользовался его результатами в своих рассуждениях. Но вроде как это сделано из соображений безопасности: мол, количество потребляемых токенов может вырасти экспоненциально.
Слабая модель - это слабая модель.
Дипсик флеш очень сильно отстает от того же Соннета Антропиков по качеству рассуждений. И хотя частично она может это компенсировать их количеством (благодаря чему ей хорошо даются многоступенчатые рассуждения и комплексные задачи), но все же она не способна "мыслить" критически (критиковать свои же рассуждения) и обдумывать эдж кейсы решаемой задачи. Вот с прямо поставленными задачами она справляется прекрасно: следовать инструкциям ее обучили хорошо.
Другими словами, она прекрасно подходит для любой рутины, а вот архитектурные задачи по коду я ей все-таки не дам: остаюсь на подписке Клода. Может позже перееду на Кодекс, т.к. его подписку можно использовать в т.ч. внутри Pi, в отличие от Клодовской.
Резюме.
Отказываться ни от инструмента, ни от модельки дипсика я не планирую. Просто буду использовать в других сценариях, а для кода у меня остаются старшие модельки.
#ai