Тут вообще самое важное – это понять, когда нужно со всем этим мучаться, а когда можно просто сказать, "GPT, сделай хорошо". Я тут говорил, что при таком подходе есть две проблемы:
1. Много токенов нужно сгенерировать. По сути столько же, сколько подаем. А за каждый выходной токен нужно платить, и обычно в 3-5 раз больше чем за обработку входного
2. Не очень хорошо переписывает, может терять куски текста или импровизировать и добавлять то, чего не было.

Посмотрим на первую проблему подробнее:

Токенов нужно сгенерировать много, но так как их примерно столько же, сколько входных, то за генерацию такого результата, платим в 3-5 раз больше, чем за обработку входных данных.

То есть, если на вход подадим 1 миллион токенов, на выходе получим 1 миллион токенов, то для gpt-4o потратим 12,5 долларов.

Если обрабатываем 10 миллионов, то разница в абсолютных значениях становится существенной, а если 10 тысяч, то это копейки.

Вывод:

Оптимизации это хорошо, когда они оптимизируют деньги. А они оптимизируют деньги тогда, когда неоптимизированная часть стоит дорого, но не в относительных числах, а в абсолютных.

В задаче с рекламой в постах суммарно было примерно 100к токенов, поэтому я просто попросил у GPT сделать хорошо и она сделала, стоило это дешевле чашки кофе.

–––

Если у вас есть куча рутинной работы, которую вы не знаете как оптимизировать, напишите мне (@nikolay_sheyko), я ищу новые интересные кейсы и накидаю прототип бесплатно