Внимание!
Это 🤓🤓ЗАНУДНЫЙ длинный пост.
Не занудный и не длинный будет ниже со всеми карточками, поехали.
Блок 5. Почему angry дает карикатурное лицо
Если дать модели только один ярлык angry, она пойдет по пути наибольшей вероятности.
Она просто возьмет "среднее арифметическое" (грубое упрощение, конечно – модель семплирует из области высокой вероятности в латентном пространстве, а не буквально усредняет) из огромной зоны злость. А самый частый визуальный паттерн злости в обучающих данных – это гипертрофированный оскал, сильно нахмуренные брови итп. Есть еще preference tuning, но на это забьём пока.
Блок 6. Как детали меняют координаты
Но если мы пишем "сжатая челюсть, слегка нахмуренные брови, неподвижные плечи, взгляд исподлобья", математика меняется.
Эти новые токены-детали жестко сдвигают наши координаты (это тоже упрощённо). Они уводят генерацию из попсовой зоны angry в конкретные, редкие точки латентного пространства, где лежат точные телесные признаки.
Блок 7. Диффузия
Дальше начинается сам процесс рисования – диффузия. Модель берет холст из чистого визуального шума (как помехи на старом телевизоре, помните? Шшшш).
Опираясь на наши точные векторы, она шаг за шагом убирает ("вычитает") этот шум. Это похоже на работу скульптора: он берет глыбу мрамора (шум) и отсекает лишнее, пока не проявится чистая форма (картинка).
Блок 8. А как же Nano Banana Pro (и иже с ней)?
Nano Banana Pro устроена чуть хитрее (хоть она и менее художественная). Перед тем как начать рисовать (диффузию), работает "думающая" языковая модель.
Она может взять ваш короткий промпт, проанализировать его, "загуглить" контекст (получить актуальные данные!) или самостоятельно расписать точные визуальные признаки и освещение. То есть языковая модель работает как ваш персональный режиссер-соавтор перед стартом диффузии.
Блок 9. Главное правило
Нейросеть не читает текст и не чувствует эмоции как человек – она вычисляет вероятности.
❌ Абстрактное слово = усредненный вектор = шаблонное выражение лица.
✅ Описание физики тела и атмосферы = точные координаты в узкой области = кинематографичный и живой кадр.
Post #147
83





- 🔥 3
- ❤🔥 1