Что такое Word2Vec?

Word2vec — технология, которая впервые снабдила компьютеры формализацией значений слов. Именно с ее внедрением машины впервые научились оценивать, что слова щербет и пастила близки, а щербет и щебень — не очень. В этом посте делимся с вами карточкой Word2Vec из нашего каталога моделей.

Год выпуска: 2013

Описание:
Модель, которая семантически пребразует слова в векторы. В основе работы модели лежит дистрибутивная гипотеза: если два слова часто встречаются в похожих контекстах, то эти два слова семантически похожи. Если два слова похожи, то расстояние между их векторами также будет невелико.

Помимо этого в пространстве векторов, образуемых моделью, можно производить различные семантические манипуляции: если вычесть из вектора слова «король» вектор слова «мужчина» и прибавить вектор слова «женщина», то получится вектор, близкий к вектору слова «королева».

🔗 Статья СБь
🔗 Оригинальная статья
🔗 Где можно попробовать

Примеры использования:
1) Поиск документов по текстовому запросу
2) Кластеризация, классификация текстов
3) Использование в качестве инициализации матрицы эмбеддингов языковых моделей

Нововведения: Векторные представления отображают семантику слов

Количество параметров: V * d, где V – размер словаря, d – размерность вектора

Область: NLP