Контекст: посчитать выход на окупаемость нового мобильного приложения.
Всё, вроде бы, понятно: есть средняя конверсия категории, есть стоимость привлечения одного пользователя через рекламу в популярных рекламных сетях, есть рекламный бюджет, есть средняя стоимость цены покупки в категории.
Открываем Гугл Таблицы и с помощью простейших формул на сложение, вычитание, умножение, деление и проценты — получаем срок выхода на окупаемость.
После всех вычислений я решил, что было бы неплохо загрузить все эти параметры в LLM и посмотреть, что скажет она.
Сделал большой промпт (почти на страницу А4): указал роль, все параметры, которые нужно использовать и какой результат хочу получить на выходе. Взял 3 популярные LLM, загрузил в них одинаковый промпт и дальше получилось очень интересное:
Perplexity в режиме Deep Research:
«Полная окупаемость: достигается примерно через 13 дней после запуска кампаний.
Однако, учитывая возможные колебания в эффективности рекламных кампаний на начальном этапе, более консервативная оценка периода полной окупаемости составляет 1-2 месяца.»
ChatGPT модель 4o на 128К:
«С учетом данных предположений, приложение может не выйти на окупаемость только за счет рекламного бюджета. Необходимо либо увеличить конверсию, либо снизить CPI, либо увеличить средний доход с пользователя.»
Gemini в режиме Deep Research:
«На основе проведенного анализа, прогнозируемый срок окупаемости для нового мобильного приложения при общем рекламном бюджете в $25 000 составляет приблизительно 12,8 месяцев»
Три передовые модели, при одинаковых вводных, показали три совершенно разных результата исследования ¯\_(ツ)_/¯
— Выйдет на окупаемость сразу на старте
— Никогда не выйдет на окупаемость
— Выйдет на окупаемость через год
Чем всё же были полезны результаты исследования?
В промпте я указывал: «Для поиска информации используй всевозможные англоязычные источники: исследования, статьи, публикации, новости, интервью, подкасты, видео на YouTube. Ответ дай на русском языке. Приведи примеры источников которые будешь использовать в виде ссылок на вэб-страницы.»
Из приведённых источников я скорректировал некоторые данные по средним конверсиям и бонусом нашёл одно очень любопытное исследование в искомой категории.
Смог бы я это сделать просто через Google поиск? Конечно, да! Только на это потребовалось бы гораздо больше времени.
Можно ли было отдать на откуп нейросетям принятие важного бизнес решения? Конечно, нет! Результаты были подвержены большому искажению заложенному при настройках и обучении сетей, поэтому выдали совершенно разные ответы.
Закинь друзьям | Канал Прожарка от ДГ