Очень показательная история, о которой говорит весь мир, и о которой поговорим и мы 🤓

Суть. Джейсон Лемкин, основатель SaaStr (сообщество вокруг SaaS и решений AI для бизнеса) в X рассказал о своем негативном опыте с Replit (SaaS для вайбкодинга веб-решений). Платил щедро: абонплату $173/день и еще $607 за дополнительную функциональность. По словам Джейсона, если бы он не остановился, то расходы за месяц составили примерно $8000. Остановился же он после того, как на 10-й день вайбкодинга его ИИ-агент удалил ему прод, который поддержка сервиса Replit потом несколько дней пыталась восстановить. Хотя и до этого уже были звоночки: отчеты, за которые он отдавал дополнительную плату, оказались фиктивными, а ИИ-агенты при разработке часто игнорировал запрет на модификацию файлов, даже если этот запрет написать КАПСОМ!

Давайте разбираться в случившемся:

1) Сервис Replit очевидно имеет хороший аппетит, но очень слабую службу поддержки. С учетом предоставления ИИ-агентов с непредсказуемым поведением, я бы никому не рекомендовал использовать данный сервис - инструменты от OpenAI, Claude, xAI и Google тоже позволяют делать веб-сервисы с нуля и при этом обладают отличной поддержкой и хорошей динамикой развития своих движков.

2) Основатель сообщества о SaaS и AI оказался фатально некомпетентным в технологиях, вокруг которых построено его сообщество. Он просто начал использовать Replit, втянулся и стал выбрасывать кучи денег, а когда его проект "самовыпилился", то он просто расстроенный остался валятся в постеле. А где же предварительный анализ рисков, планы "страховки" и разбор обнаруженных ошибок? Как лидер сообщества, Джейсон имеет некоторые обязательства перед своими последователями - как минимум, объяснить почему энтузиастам и евангелистам важно лично испытывать "сырые" технологии и обнаруживать ошибки до начала массового применения; и что факапы - это неизбежные спутники развития, а не повод все бросить и уехать на ранчо разводить коней. Сейчас же он выглядит как неудачник, которому больше никто не закажет проекты.

3) Бэкапы и планы экстренных восстановлений просто должны быть. Точка!

4) Допускать экспериментальных ИИ-агентов к проду - это еще хуже чем пускать туда джунов. Люди-джуны умеют боятся своих ошибок, а компьютеры - это рыцари без страха, но с упрёком. При планировании работ никогда нельзя выпускать агентов за пределы песочницы! Тут явно ошибка архитектуры сервиса Replit.

5) Об промтинге (искусстве написания запросов на LLM) ходят различные мифы - например, что инструкции КАПЛОКОМ будут приоритетнее остальных. Допускаю, что подобное поведение могло проявляться на некоторых моделях, но не является для них общим законом. Тут важны существования "системных промтов" и "улучшателей" пользовательских запросов - очевидно, что в процессе подготовки инструкций для ИИ-агентов запреты на редактирование уже пропадали или вступили в противоречие с системными инструкциями. Если Джейсон позиционирует себя как эксперта в ИИ-области, то он должен был знать эти азы.

#ai #вайбкодинг