Ты совсем не уделяешь мне внимания!!!

Начинаю серию публикаций объясняющую суть краеугольного камня архитектуры трансформеров - механизма внимания (attention).

Коротко суть идеи

Основная идея механизма внимания состоит в том, чтобы определить, какие части входных данных, (например, слов в предложении) важны для текущего элемента (слова) при выполнении задачи. Трансформеры используют это, чтобы лучше понимать контекст каждого слова.

Причем тут SEO?

Если объяснять на пальцах - слова в предложении сами находят степень взаимосвязи друг с другом. Как они это делают? С помощью наших любимых эмбеддингов!

Пример на уровне слов в предложении

Представьте, что у нас есть предложение: “Машина быстро едет по дороге”. Мы хотим понять, какое слово в предложении наиболее важно для слова “едет”. В контексте механизма внимания, мы смотрим на все слова и вычисляем, насколько они важны для “едет”.

Как это работает?

1. Вычисление значимости (Attention Scores):
Для каждого слова в предложении мы вычисляем оценку значимости по отношению к текущему слову (например, “едет”). Это делается через умножение векторов, представляющих слова, и применение некоторых функций (например, softmax).
• Допустим , оценка значимости для слова “Машина” по отношению к “едет” может быть 0.2, для “быстро” - 0.7, для “по” - 0.05, и для “дороге” - 0.05.

2. Взвешивание слов:
Эти оценки значимости используются для взвешивания всех слов. То есть мы умножаем каждое слово на его оценку значимости.
• “Машина” * 0.2
• “быстро” * 0.7
• “по” * 0.05
• “дороге” * 0.05

3. Создание нового представления (Context Vector):
Все взвешенные слова суммируются, чтобы создать новый вектор представления для текущего слова (“едет”). Это новое представление лучше учитывает контекст, так как включает информацию о том, какие слова были наиболее значимыми.
• Новый вектор для “едет” будет в основном состоять из “быстро”, так как это слово имеет наибольшую значимость.

А теперь давайте немного изменим предложение, пусть будет: Эммануэль Макрон в машине быстро едет по дороге.

Какой теперь должен быть context vector? Видите, как всего два слова напрочь сломали весь контекст? О чем он теперь, про машину или про политику?

Заключение

Я думаю, теперь понятно, почему у одних копирайтеров тексты стреляют, а у других нет? Как сделать так, чтобы и ваши тексты стреляли? Ну как минимум уберите мусор и добавьте полезных слов.

Мои бесплатные боты вам в помощь!
@vector_keywords_bot – поиск n-грамм по ключу.
@vector_text_bot – на вход ключ и текст, на выходе размеченный по сходству текст.