Наблюдения.
Мне каждую неделю приходят примерно 20 проектов/продуктов/команд и рассказывают, что они сделали/планируют делать и так далее. Что обычно замечаю:
1/ Дек, все материалы, блербы, письма сделаны через AI. Прям видно, что люди не читали, что сами сделали, деки по стопицот страниц, вайбкодинг фронтенды знаете с таким привкусом Claude Design (это когда попросил сделать красиво пожалуйста). И все они ожидают, что ктото в это будет вникать и изучать и более того давать деньги?
2/ Большая часть проектов не знает о существовании evals. Агент для "подставить чего-то" или улучшим вашего агента для "чего-то". Но как понять что предлагаемый подход лучше банального "скормить все chatgpt" без понятия. Хотя бы посмотрели что ли бенчи и системы оценки.
3/ Ну даже если эвалов и бенчей совсем нет, тогда за это должны платить. Иначе очень сложно понять чего делать и как оценивать то.
4/ Очень много "слопа", то есть я трачу 2-3 минуты и вижу фактические/численные ошибки в материалах. Например пишут размер рынка и там два числа перемноженных дают неверный результат. И такого просто тонна. Желание читать и разговариать с человеком, который даже не проверил что написал - нет.
5/ Все просят миллионы, и я не понимаю зачем. Все что сделано было сделано с подпиской 200 баксов в месяц. Зачем вам миллионы?
6/ Люди не знают базу. Да да, различие между харнесом и моделью, какие метрики что означают, не знают про recall etc. в задачах поиска. О чем вообще можно тогда говорить?
Складываются стойкое ощущение, что даже тексты и ответы на вопросы пишут не сами. И это печалит и именно поэтому стало тяжелее что-то сделать если думать не самому, но если своя голова на плечах сейчас лучшее время конечно!
Post #1291
4.49K
- 😁 61
- 💯 29
- 👍 23
- ❤ 7
- 🤔 4