Периодическая легкость бытия.
Люблю архитектуру, шляпки и историю искусства.
Для связи: @dasha_kova8
Post #4288
573
Вычитала, что ключевой элемент механизма нейросетей - attention (внимание).
Если человек читает описание "черный кот сидит на красном стуле", то
- думает о коте и рисует форму кота
- думает о черном и закрашивает кота черным
- думает о стуле и рисует стул
- думает о красном и закрашивает его красным
То есть внимание переключается между словами и частями картинки. Вот это переключение и воспроизводит механизм attention.
Самый важный механизм называется cross-attention: «На какое слово из текста смотреть, когда рисуем этот кусок изображения?»
- пиксель в области уха - модель смотрит на слово "кот"
- пиксель на сиденье - смотрит на "стул"
- цвет пикселя - смотрит на черный или красный
Без attention модель бы только знала, что на картинке есть кот и стул, а также есть черный и красный - получалась бы мешанина.
В интерфейсах Stable Diffusion можно писать:
(cat:1.5) — сильнее внимание к коту
(red:0.5) — меньше внимания к красному.
Модель больше «смотрит» на одни слова и меньше на другие.
Если человек читает описание "черный кот сидит на красном стуле", то
- думает о коте и рисует форму кота
- думает о черном и закрашивает кота черным
- думает о стуле и рисует стул
- думает о красном и закрашивает его красным
То есть внимание переключается между словами и частями картинки. Вот это переключение и воспроизводит механизм attention.
Самый важный механизм называется cross-attention: «На какое слово из текста смотреть, когда рисуем этот кусок изображения?»
- пиксель в области уха - модель смотрит на слово "кот"
- пиксель на сиденье - смотрит на "стул"
- цвет пикселя - смотрит на черный или красный
Без attention модель бы только знала, что на картинке есть кот и стул, а также есть черный и красный - получалась бы мешанина.
В интерфейсах Stable Diffusion можно писать:
(cat:1.5) — сильнее внимание к коту
(red:0.5) — меньше внимания к красному.
Модель больше «смотрит» на одни слова и меньше на другие.
- ❤ 10
- 👍 6
- 👀 3
- ✍ 1
- 👎 1
- 🔥 1
- 🕊 1











