✈️Математика для Data Scientist’а: меры измерения расстояния, часть 3
• Индекс Жаккара или Пересечение над объединением (Jaccard index or Intersection over Union) – это показатель для расчета сходства и разнообразия нескольких выборок – размер пересечения, деленный на размер их объединения. На практике это общее количество похожих объектов между наборами, деленное на общее количество объектов. Например, если у двух наборов 1 общая сущность и всего 5 разных сущностей, то индекс Жаккара будет 1/5 = 0,2. Главный недостаток этой меры – зависимость от объема данных: чем больше выборка, тем больше значение индекса. Индекс Жаккара часто используется в приложениях, где используются двоичные данные. Например, DL-модель прогнозирует сегменты изображения. В этом случае индекс Жаккара можно использовать для расчета, насколько точно прогноз соответствует реальности. Точно эту меру можно применять для анализа сходств текста, чтобы измерить, насколько часто выбираются слова между документами и сравнения наборов нескольких шаблонов.
• Индекс Соренсена-Дайса (Sørensen-Dice index) очень похож на индекс Жаккара – он также измеряет сходство и разнообразие нескольких выборок. Хотя они рассчитываются аналогично, индекс Соренсена-Дайса немного более интуитивно понятен, потому что его можно рассматривать как процент перекрытия между двумя наборами, который представляет собой значение от 0 до 1. Как и индекс Жаккара, индекс Соренсена-Дайса преувеличивают важность наборов, в которых практически отсутствуют достоверные положительные результаты, взвешивая каждый элемент обратно пропорционально размеру его выборки. Эта мера часто применяется в задачах сегментации изображений и в анализе текстового сходства.
• Расстояние Хаверсинуса (Haversine distance) – это расстояние между двумя точками на сфере с учетом их долготы и широты. Это похоже на евклидово расстояние в том, что вычисляет самую короткую линию между двумя точками, которые находятся на сфере. С этим связан главный недостаток этой меры – идеальных сфер в реальности не существует. Например, из-за неровностей ландшафта планеты расчеты могут быть искажены. Вместо этого можно использовать расстояние Винсенти (Vincenty distance), которое вместо сферы работает с эллипсоидом. Неудивительно, что расстояние Хаверсинуса часто используется в навигации. Например, для расчета расстояния между двумя странами при перелете между ними. На небольших расстояниях применять эту меру нет смысла, т.к. малый радиус кривизны не дает большого эффекта.