А теперь от рефлексии, к чему-то интересному

Вокруг достаточно много экспериментов о применении AI в работе. Например:
- LLM играют в Покер и смотрят, кто перформит лучше
- LLM торгуют на бирже и пытаются сделать вывод - кто же выбирает стратегии эффективнее

Это все выглядит как промоут своих сервисов. По крайней мере, не считаю что торговля на бирже с помощью LLM, это то, что прям напрямую улучшить чье-то финансовое положение.

Мы же решили попробовать вести соц.сети с использованием LLM. В частности, промоут акаунта школы в Threads. Уже месяц, как 70-80% контента генерируется с использованием LLM. Периодически мы постим туда ручной текст, но большая часть контента – это все же LLM.

Спойлер: Получилось плохо. Но мы не сдаемся и продолжаем.

Подробности:
- Цель – расширить охваты, то есть сделать так, чтобы о бренде узнали
- Как следствие – это должно приводить новых пользователей в школу
- Подписчики неважны, поскольку в threads это играет меньшую роль
- Основа контента – отборные факты, о которых мы считаем нужным рассказать аудитории

На графике выше вы видите средние просмотры по дням, которые мы получили за время эксперимента. Это не то, что мы хотели бы получить :) но то, что получилось

Качество сгенерированного контента – я бы сказал неплохой. Это не бессмысленные фразы, а все же полезная информация. Каждый раз.

Мы начали с публикации 10-13 сообщений в день, но на средние показатели просмотра это не повлияло.

Мы каждую неделю с помощью LLM делаем оценку наших результатов, меняем стратегию (промпты, которые используем, время постинга, отбор и оценка контента для публикации, стиль текста) – это все в рамках эксперимента, который мы проводим.

На этой неделе мы пришли уже к состоянию:
- 3 различные LLM изучают источники и дают независимую оценку контента (будет ли он перформить или нет)
- Есть аппрув человеком – контент адекватный или нет? 85% всех сгенерированных постов – отклоняются ревьерами
- Постим 5 сообщений в день
- Пытались отслеживать тренды в threads, но тут уже API ограничивает наши возможности для этого

Насколько это этично, генерировать и постить контент?
Мой ответ – этично. Этот контент несет информацию, в отличие от 80% контента в сети. Мы не постим сообщения, которые байтят, это не фейк, это новости, о которых мы бы писали сами.

Насколько подход работает?
Работает. Нужно заниматься и выстраивать систему. На это требуется время. Я думаю, что через месяц у нас будут результаты лучше, чем сегодня. Даже сегодня у нас просмотры увеличились на 30% от того, что было написано в статье.

Люди читают это?
Да, читают =) И комментируют – это говорит, что мы не стараемся наполнить сеть AI Slop'ом

А если вы думаете, что отлично можете отличить текст сгенерированный нейросетью, от человеческого контента, то вот вам quiz. Пришлите в комментарии результаты =)

Статья с деталями тут

P.S. В канале я пишу сам текст =)