Если текст можно предсказать — он не нужен. Это главное различие работы нейросеток и профессионала.

В смысле, что на выходе не конструктор из готовых штампов, а что-то неожиданно-приятное и интересное.

Тут в обсуждении был вопрос от @pavgavr про то, что такое перплексия. Это вот она. Это уровень офигевания нейросети от происходящего.

Очень упрощая, модель должна предсказывать токен. Например, во фразе «Подскажите, пожалуйста, _____ стоит снять квартиру в вашем районе» хорошая перплексия (низкое удивление) — «сколько», нормальная — «где», плохая — «почему», дикая — «Чебурашка».

И вот тут и происходит главная драма.

Сильно упрощая, качество генерации оценивается по перплексии, то есть по минимальному удивлению относительно всего обучающего корпуса. Модель стремится снизить удивление, и так она понимает, что не сотворила фигню. Хороший текст — это максимально предсказуемый текст.

А общая черта хороших текстов примерно такая же, как у классической музыки — нет повтора известных тем. Классика без чебурашек не работает.

Текст с идеальной перплексией — это вода. Безопасно, логично, скучно и используется кучей человеков по всей планете.

Именно так пишет большинство людей, и именно на этом модель училась.

Первые модели ещё были очень сильно поражены SEO-текстами и дорвеями, поэтому корпус текстов человечества очень сильно чистился. Потом ещё научились вкладывать в обучение по 10 копий хороших текстов — все научные работы, всю мировую литературу и так далее. Но в целом всё равно не ждите нонконформизма.

Каждый ответ — если не приложить усилия — будет консенсусным. Консенсусные идеи не создают разрыв, они медленно допиливают имеющееся. Это, кстати, обосновали научно, вот детали в посте )

То есть работа текущих моделей классная для доработки тех же инструкций, например. И это круто, если надо ужасный или слабый текст улучшить до нормального. Но прям хороший текст в реальности так не получить. Потому что он работает буквально против архитектуры модели — на удивлении.

Очень сложно отличить творческое решение от бреда статистическими моделями. Всё, что выбивается за ожидания — вероятный брак. Поэтому есть параметр температуры — чтобы модель тоже могла удивлять. Тогда выбираются не первые вероятности, а следующие за ними. Но чем выше температура, тем больше будет шизоидных глюков. Нейросети ими славятся.

Единственный работающий на практике способ заставить модель писать лучше нормы и не скатываться в бред — это дать ей хорошее стартовое зерно. Инсайты, данные, которых нет у других, какие-то штуки, которые надо обработать и т.п, образцы стиля, конкурирующих агентов-дискриминаторов и так далее. По базе обычно вы должны сами найти парадокс, фактуру, саму идею. Самое весёлое не в самой модели, а в дельте между её знаниями и вашими вводными.

На хороший каркас можно попробовать нарастить деталей. Тем более, что это с каждым месяцем становится всё лучше.

Стилизуют модели нормально. Хотя в целом любой авторский стиль для модели тоже статистическое отклонение. Хемингуэй писал слишком коротко. Толстой — долго. Есенин — грустный потерпевший. Бред же, ну.

Так что одна из немногих областей зона, где человек незаменим — это при высокой перплексии. То есть там, где у остальных не получается, а у вас получается.

Если подумать, это в первую очередь работа с архитектурой текста и инсайтами фактуры, а не формой внутри. Удивительно, но сейчас навык мыслить постепенно оказывается важнее навыка формулировать эти мысли )