Буквально 5 дней назад я написал о том, что девочка Астра берет код за синтаксис (типа аналогия на "быка за рога") и вертит его на своем... чем-то, она ж девочка.
После успешной реализации рефактора одного воркера я следом кинулся на второй. Справедливости ради, он сложнее. Но щас не об источнике.
А о том, что Астра успела резко потупеть.
Поясняю: оцениваю я её "тупость" по примерно следующим факторам
🍪 Успешность автономно-принятых решений
В Астре было заявлено, что в отличии от 5.6 SOL она умеет как бы "разговаривать сама с собой", и на основе целой кучи параметров, начиная от контекста и заканчивая инструкциями проекта принимать решения без участия человека
🍪 Удержание сути проекта спустя десяток пережимок контекста
Я начал замечать, что тонкие настройки и правила, которые я прописывал неделю назад начали куда-то деваться.
И нет, я не забывал прописывать правила в файлах. Она забывала их учитывать. Она про них помнит при запросе, но когда её носом тыкаешь в ноду с кодом, которая кладет на лопатки весь флоу — она такая "Ой-ёй..."
🍪 Принятие решений о дальнейшей работе
Объясню чуть подробнее. Как вы знаете, чатгпт просто пиздец как любит зарываться в тестах, тестирует тесты, потом на тестах гоняет smoke-тесты, потом делает тесты smoke-тестов и так далее.
Ради экономии токенов и скорости работы в harness своего агента давно положена инструкция, которая запрещает раздувать тесты ради тестов. Только необходимые, только то, что ты трогаешь в данную секунду и то, на что текущая доработка влияет.
Для примера, по таким правилам агент не пойдет тестировать кнопку "Подробнее" на сайте, если вы переделываете логирование пользователей. То есть не связанные никак между собой вещи.
Ну так вот, такой подход заставляет модель весомее оценивать зависимости внутри проекта. Что на что влияет, как конкретное изменение заденет весь флоу, дабы тестировать то, что нужно
И! Щас внимательно.
На основании именно этих тестов модель может оценить текущее положение проекта и корректировать дальнейший план работы. Что я и называю "Принятие решений о дальнейшей работе"
Да, над названиями мне надо поработать, но я тут не хвастаюсь оригинальностью, пока что
Астра за последние 5 дней показала просто отвратительное понимание того, что делать дальше. При том, что по факту, ничего не поменялось. Это очередной источник и очередная типовая задача.
Она решает, что при наличии 30.000 строк сырых данных мы можем глянуть на 100 строк, и если они норм, то "Похуй, погнали дальше". А потом через три дня часовой аудит по протоколу "Заебал" находит критические дыры ещё на этапе подготовки данных.
Хотя чекнуть строки уже написанным скриптом заняло бы минуты 4. Сэкономила, спасибо блять
Умный разработчик скажет: ну так ты еблан на Владе, почему глазами-то не посмотрел.
Я отвечу, что доеб справедливый, только вот не совсем по теме. Ведь ещё 5 дней назад оно работало идеально.
Да, общая оценка эффективности и "крутости" модели не заканчивается описанным выше. Это то, на что я успел обратить весомый пласт своего внимания.
Я не снимаю с себя ответственности. Я лишь говорю о том, что эйфория была излишней.
GPT 6 Astra всё ещё не автономный сотрудник. Просто знайте и учитывайте при вайбкоде своего AI B2B SaaS 1m$ проекта.