Нет повести печальнее на свете, чем повесть о деградации генеративной нейронной сети.
Мы уже вот-вот близимся к релизу нашего продукта. Я про него упоминал в отдельном посте (тут), но давайте еще раз кратко пройдусь и напомню.
Вся техническая часть построена на следующей схеме. Вы в телеграм боте по вашей подписке "заказываете" генерацию видео/фото. Все сделано для сейлеров товаров. Тобишь все опции это либо карточки товара, либо ролик для фарма трафика.
Вы делаете ролик, вы же его публикуете автоматически в ваши соц сети. Там алгоритмы пушат нейро-контент и вы получаете себе трафик. Делаете карточку? Из 1 фото товара получаете красивую, не на фотошопе наклеенную, а созданную с нуля по вашему описанию.
Нужно положить товар на стол? На спину человеку, дать в руку? Поменять свет или добавить текст поверх? Да, пожалуйста.
А под капотом с нашей стороны n8n, где сложная цепочка воркфлоу и связи разных сервисов делает примерно следующее, если сильно упрощать:
Ваш товар из базы данных вписан в JSON, где прописано как следует с ним поступить, это передается "AI-сценаристу" и он пишет оптимизированный промпт под VEO 3.1 и Sora 2.
И моя задача была в n8n прописывать промпты в узлах, которые отвечают за сценарии, обработку ручную и готовые стили.
Тобишь, примерно так выглядела моя работа:
Я брал выборку наших генераций и подмечал проблемные места, например, люди на видео неправильно трогают ткани/пуговицы. Я дописывал правила, которые объясняли принцип взаимодействия и ставили жесткие требования.
Вижу, что нейросеть плохо понимает как правильно создавать динамику — определил описания спорта/эстрима и контекста для него. Условно в кроссовках при динамике нужно прыгать/бегать.
Совокупность этих правок и раздутие промпта на сотни и тысячи строк — позволяло добиться крайне реалистичных коротких роликов, где сохранялись промпты, физика и логика.
Так и кто в итоге отсосал?
Отсосал я. Потому что в какой-то момент VEO 3.1 начала вести себя не так как ранее. Тот же самый промпт начал восприниматься иишкой совсем иначе. Буквально случилось падение качества генерации, где вместо людей в товаре или с товаром..
Товар, слайдшоу, линии, люди, флип картинки. Баланс творчества, восприятие инструкции и подход к созданию видео со стороны модели изменился сам по себе.
Прямое исправление инструкции, правка промпта сценариста. Любые изменения стали еле работающим костылем, который не может в полной мере решить проблему. У меня и команды если не паника, то раздражение.
Пришлось переписывать несколько раз все промпты в этой цепочке с нуля, чтобы сгладить углы и вернуть генерациям ВЕО около-рабочее состояние. Чтобы хотя бы от туда начать двигаться к развитию, повышению качества.
И был другой слой проблемы
Достаточно очевидный, но мы люди существа несовершенные и часто хочется засунуть что-то куда-то, куда не следовало бы.
Вся практика порно индустрии показывает, что у людей несколько гибкие представление о возможностях расширяемости всяк разного.
Вот и я поел говна, когда начал сильно масштабировать категории товаров, разнообразия взаимодействий. Это приводило к потере контекста и нейросеть начала забывать стили/качество. Поэтому, первым делом грешил туда.
Пускай проблемы с VEO были не в этой плоскости. Но попытки запихуить все и сразу плохо заканчиваются. Что в жизни, что в нейросетях.
И немного мыслей опосля..
Когда вы видите как кто-то хайпит тот же вайбкод, можете делить громкие заявления на два. Конечно, нейросети супер мощный инструмент, это буквально революция.
Но нужно помнить, что есть нихуевый пласт подводных камней. Этот пласт вам не просто проект поломает, но и волосы на жопе седыми сделает.
Вот поэтому я беру на себя задачу сидеть с седыми волосами, чтобы вам не пришлось. А вы за это мне реакции на пост, комментарии и деньги.
Норм сделка?