Найти похожую собаку🐕/машину🚗/квартиру🏬/что угодно: рассказываем про алгоритм K Nearest Neighbors

Очень частая задача в машинном обучении — найти похожие объекты или предсказать какой-то параметр для похожего объекта (например, цену квартиры на основе имеющихся цен других квартир). Как компьютер это делает? Рассказываем в материале «Системного Блока».

Кратко: о чем статья?

Идея, которая лежит в основе метода KNN, — если объекты похожи по одним характеристикам, то будут похожи и по другим. Этот алгоритм используется, например, в системах рекомендаций.

Есть два типа задач, которые можно решить с помощью K Nearest Neighbors — классификации и регрессии. Например, определить породу собаки по набору характеристик — задача классификации. Предсказать стоимость квартиры по её описанию — регрессии.

В обеих задачах выделяют объект — то, по чему делается предсказание, и целевую переменную — то, что надо предсказать. Если объекты «похожи», то их целевые переменные принимают те же (в случае классификации) или близкие (в случае регрессии) значения.

Предсказание целевой переменной делается на основе набора KNN с учетом рассчитанных расстояний между объектом и всеми объектами выборки. Само предсказание вычисляется по-разному в зависимости от задачи: это может быть голосование или усреднение. В случае породы собаки голосование работает так: когда есть 5 хаски и 2 маламута (K в этом случае равно 7), то предсказанием будет порода хаски.

Более подробно о предсказании целевой переменной, а также о сложностях, возникающих при применении метода К ближайших соседей, читайте в полной версии статьи.

Время чтения: 6 минут.

🤖 «Системный Блокъ» @sysblok