Снова про вайбкод

Некоторое время назад увидел бечмарк моделей. И оказалось, что модельки гораздо лучше справляются с фронтовым кодом, нежели с бэком. Если на фронте модели ошибаются в 1 задаче из 4, то с бэком все наоборот - корректное решение можно ожидать только в 1 из 4 заданий. И вот мой опыт говорит о том же - фронтовые задачки клод решает весьма неплохо.

Значит ли это, что скоро бэк будет корректен в 3 из 4 случаев, а фронт в 9 из 10? Наступит ли то будущее, когда модельки будут правы в 99 случаях из 100?

Да фиг его знает. Может быть, это всё уже, предел - так и будут модели топтаться вокруг этих цифр.

Но если всё же модели не упрутся в потолок, и код-ревью уйдёт из нормального AI-кодинга, то, видимо, разработка начнёт упираться уже не в код-ревью, а в железо и оптимизацию контекста и промптов. Сейчас раскрою мысль.

Про железо

Если вы пойдёте смотреть, сколько вам будет стоить хотя бы час погонять какую-нибудь опенсурсную модель, сравнимую по бенчмаркам с Клодовским Опусом, у вас челюсть отвиснет. Даже 8-битная GLM5 INT8 (~97-99% от точности топовой 16-битной GLM5 FP16, бенчмарк которой в прикреплённом изображении) на 204 тысячи токенов (эт как у опуса) обойдётся вам в 41 видеокарту NVidia H100 на 80 Гб. Это почти 3 млн рублей за видеокарту или 120 млн рублей за сетап. Селектел за один сервак с такой NVidia просит 12к в день или 320к в месяц. На 41 видеокарту получается ~500к в день или ~12 млн в месяц.

И вот этот сетап сможет вывезти ну 10 человек в параллель от силы, судя по тому, что мне удалось найти. Конечно, это не значит, что каждый клиент обходится какому-нибудь Антропику в лям рублей в месяц. Всё же тут включается своё железо, эффект масштаба и разные хитрые механизмы оптимизации. Но проблему с железом, думаю, вы поняли.

И, если вы послушаете, что говорит фаундер Антропика, то узнаете, что его самый страшный кошмар - это что прогнозы по спросу не сбудутся. Потому что тогда вся экономическая модель со всеми этими серверами пойдёт по бороде.

Про контекст и промпты

Вторая история еще более интересная. Честно говоря, я уже весьма доволен тем, как Опус пишет тесты, код, фронт, дебажит и рефакторит. Он делает это нестабильно, что-то забывает. Но с напоминаниями или без них, итоговый код, который у меня выходит из-под его "пера", практически неотличим от того, что я бы написал сам. И тесты, и реализация, и рефакторинг, и архитектура. А я так-то весьма привередливый читатель.

И главное, что тут решает - не только умная модель, но и толстенный промпт-фреймворк, накрученный вокруг него, чтобы он делал именно так, как я от него хочу. И чем дальше развивается этот фреймворк, тем меньше я оставляю в нем работы для себя.

Сейчас построение фичи напоминает мне историю с "проектом Голубь". Это такой забавный концепт американского инженера из середины 20 века, где бомба должна была самонаводиться на корабль с помощью сидящего внутри голубя, обученного стучать клювом по цели на выведенном на экран изображении с камеры.

Вот и у меня так же теперь. Я вызываю шаг /continue 12, Claude смотрит в сгенерированный им же todo-лист с прогрессом фичи под номером 12, видит, где он остановился в прошлый раз, и продолжает с этого места. Через 5 минут он отмечает прогресс и останавливается, чтобы я, как голубь, посмотрел на экран и клюнул ему на какой-то косяк. Потом я нажимаю /continue, и он едет дальше.

Вообще говоря, этот /continue скилл у меня сейчас сделан так, что если б моего вмешательства не требовалось, то можно было бы просто в цикле вызывать его до победного. Клод бы просто для каждой новой стори генерил туду-лист и шёл бы по нему: сначала набил бы спеку с тестами, потом эти тесты набил бы в туду-лист и шел бы по нему тест за тестом, сначала бэк, потом фронт. Как закончил бы, переходил бы к следующей истории.

Получается, что чем сложнее промпт-сетап и умнее модели, тем меньше я буду нужен в этом странном симбиозе. И, кажется, что подобный промпт-сетап уже превращается в самостоятельную инженерию, необходимую для производства промышленного кода через ИИ.