📝 Что такое word embedding и text vectorization?

Как из слов сделать числа, с которыми работают модели машинного обучения :contentReference[oaicite:0]

📌 Основные техники:
• One-hot Encoding – каждому слову соответствует длинный вектор с единицей в позиции слова и нулями в остальных. Очень разреженно и не передаёт смысл.
• Bag-of-Words (BoW) – вектор частот слов в документе. Удобно, но теряется порядок и контекст.
• TF-IDF – BoW с весами: редкие слова получают больший вес, частые («и», «the») почти не учитываются.
• Word Embeddings – плотные векторы (обычно 50–300 размерностей), которые учатся на данных и отражают семантические связи между словами.

🔍 Популярные алгоритмы:
• Word2Vec (CBOW и Skip-Gram) – предсказывает слово по контексту или контекст по слову.
• GloVe – факторизация глобальной матрицы со-встречаемости слов.
• FastText – расширяет Word2Vec, разбивая слова на n-граммы для обработки редких слов и морфологии :contentReference[oaicite:1]{index=1}

💡 Почему это важно?
• Векторы «понимают» смысл: vec(король) – vec(мужчина) + vec(женщина) ≈ vec(королева)
• Обеспечивают модели числовые представления текста для задач классификации, поиска, перевода и др.

🚀 Применение:
• Классификация текста (спам, отзывы)
• Поисковые системы (понимание запроса)
• Машинный перевод
• Вопрос-ответные системы
• Генерация текста и чат-боты :contentReference[oaicite:2]{index=2}

Этот гайд – отличное введение в трансформацию слов в числа. Простые методы (TF-IDF) по-прежнему полезны для быстрой обработки, а embeddings дают глубокое понимание языка.