всем привет

Очень давно мне хотелось сделать поиск по прошлым пресейлам, за последние пару лет, чтобы в клоде спрашиваешь "вот новый пресейл, что похожее у нас уже было, что мы оценивали?" и он тебе выдает что мол такой то пресейл, там было все вот так, вот что общее, вот как это оценивалось, вот что в итоге, выиграли или проиграли.

Вроде бы задача то несложная на первый взгляд, тем более что базовые артефакты в пресейлах прошлых часто похожи, их три категории: входные требования + транскрипт звонка с продажниками, экселька с wbs и оценкой, пропоузал (КП)

Не буду углубляться в тех детали, скажу сразу что в итоге - нельзя просто взять кучу доков, закинуть их в ИИ и ждать магию)

несмотря на то, что ии умеет анализировать, но если дать ему не очень унифицированные данные - то его точность будет хорошо если 50-60%, то есть в остальных случаях на выходе будет разная степень бредовости, что сильно снижает пользу итогового продукта

В моем случае мне сначала надо было прогнать кажды прошлый пресейл через определенное количество шагов, чтобы на выходе получить структурированный json и набор токенов (chunks) для векторной базы.

Я прогнал штук 10 и понял что прогнать еще 100+ мне надо будет убить часов 20, проще уже сейчас все последующие пресейлы сразу делать с таким итоговым стуктурированным файлом, которые позволит использовать его как исторические данные с минимальным количеством галлюцинаций.

Похожий опыт у нас был в проекте для банка где надо было классифицировать входящие документы (инвоис, чек, банковская выписка и тд) и несмотря на наличие примеров таких доков для каждой категории, точность все равно была на уровне 80%, что не сильно совпадало с ожиданиями банка, что будет магия. Оказывается, что для повышения точности нужно намного больше примеров и дополнительное обучение модели)

Сейчас экспериментируем вести весь пресейл в репозитории, чтобы там были сразу все письма, прототипы, исследования по этому пресейлу синхронизированно для всех участников команды пресейла. Все равно все используют ИИ в работе над пресейлом, так почему бы не хранить все это в одном месте, а не в личном аккаунте каждого, что теряется по завершению пресейла.
Пока такой подход по ощущениям очень даже неплохо, при соблюдении базовых правил работы с репозиторием, обновления статусов, коммитов и тд, чтобы не превращать в мусорку.

Поделитесь, что у вас меняется в подходе к работе с клиентами как менеджер с помощью ИИ?