В июне я разбирала вопрос, не пузырь ли вообще этот ваш ИИ, и там был такой тейк:
Кажется, что сейчас эта часть мира живёт в ожидании, что и люди, и компании подсядут на дешёвые подписки с высокими лимитами, а потом уже не смогут без них, и можно будет свести экономику🤵
И вот местами кажется, что этот прогноз начинает сбываться.
Я уже рассказывала, что вайбкодить привыкла и полюбила. Не потому что больше не могу сама развернуть массив или обработать датасет, а потому что в условиях стартапа — быстрой работы и постоянного прототипирования — очень важно проверять гипотезы тоже быстро и не ждать свободного времени у разработчиков ради какого-нибудь внутреннего тула.
Даже традиционные BI-системы уже не так однозначно нужны. Крутые стоят дорого — либо в деньгах, либо в ресурсах на поддержку и доработку опенсорсного решения, а «такие себе» неповоротливы, и работать с ними мучительно. Особенно, когда уже попробовал оформлять отчёт любой сложности в HTML/JS и оборачивать его в веб-приложение Google Cloud Run.
Всё бы хорошо — вайбкодить у нас считается можно и нужно, но вот неделю назад я заметила, что лимиты на той же подписке стали заканчиваться ощутимо быстрее. Оказалось, не только я.
Потом вспомнила, что это просто закончилось промо на Fable, и пересела обратно на Opus. Тем более что самые умные модели действительно зачастую оверкилл (статья об этом на Хабре).
Но даже Opus с хорошим эффортом за эту неделю меня выбесил не раз. То создал пять pull request'ов, хотя по логике там нужно было два — а на каждый ещё надо получать апрув от дата-инженера🎀 То пишет какую-то откровенную кринжатину в заголовках. То в таблице с когортным анализом для когорт по месяцам оставляет столбцы по неделям, а на мой наезд предлагает считать месяц за четыре недели. Ну не менять же грануляцию уже🤡 Короче, какие-то ошибки уровня стажёра, которого не оставят в штате, потому что работу он имитирует.
И тут выходит новость, что появился Opus 5.5, который теперь круче Fable, но и токенов будет кушац немало👍📈 А коллеги тем временем всё чаще подмечают, что переходят на Codex.
В общем, картинка пока складывается такая: идёт постоянное соревнование и компаний-гигантов — в основном двух, но, возможно, ещё кто-нибудь присоединится, — и их моделей между собой. С одной стороны, каждая новая модель чуть двигает планку того, что вообще кажется нормальным качеством. А с другой — мне всё ещё кажется важным не подсесть именно на бездумное делегирование модели. Потому что оно и стоит дорого, и очень быстро расслабляет.
Ты один раз привыкаешь, что модель сама напишет код, сама создаст PR, сама переделает отчёт, сама разберётся с грануляцией. А потом внезапно обнаруживается, что сделано всё не совсем так, как нужно, а лимит подошёл к концу🤯
Знаете, есть такая городская легенда, что Apple нарочно ухудшает старые айфоны, когда выходит новый? До сих пор доказать это довольно сложно, потому что батареи и камеры имеют свойство действительно изнашиваться. Плюс после нового телефона (который по-любому купил кто-то из знакомых) старый и правда начинает субъективно казаться хуже.
Вот с моделями у меня сейчас примерно такое же ощущение.
Как может недавно топовая модель внезапно так отупеть?
Может, отупела тут я — разучилась промптить и нормально проверять вывод? А может, я просто попробовала следующую модель, повысила стандарты — и теперь то, что ещё месяц назад казалось магией и заменой меня, уже раздражает?
Вряд ли получится достоверно проверить такую гипотезу. Но ощущения и обсуждения с другими местами очень наводят на мысль, что так и задумано👀 Делитесь своими мыслями⬇️
#развитие_ии
@analytess 👩