📈Оценка модели и поиск соседей: 4 базовых метода

1️⃣Leave-One-Out (LOOCV)
➖Кросс-валидация: поочерёдно берём каждую точку из набора как тестовую, все остальные — на обучение.
➖Итоговая ошибка = среднее ошибок на всех точках.
⚠️Вычислительно дорого: модель обучается n раз.

2️⃣Brute-Force (полный перебор)
➖Для каждой новой точки считаем расстояние до всех точек базы.
➖Выбираем ближайшие.
🔍 Гарантированно точно, но время на запрос — O(n).

3️⃣KD-дерево
➖Разбиваем пространство по координатам (x, y, …) в узлах дерева.
➖При поиске ближайшего соседа отбрасываем целые «кубы» (подпространства), если они дальше текущего лучшего.
➖В среднем O(log n) на запрос, но в >20 измерениях эффективность падает.

4️⃣BallTree
➖Разбивает точки на группы и описывает их «шарами» (центроид + радиус).
➖При поиске отбрасывает целые шары, если их граница дальше, чем текущий лучший сосед.
➖Лучше работает в высоких размерностях и на неравномерных данных.

💡Краткий выбор метода
➖Малый объём данных → Brute-Force.
➖Средние объём и измерения ≤20 → KD-дерево.
➖Большие или высокоизмеримые тексты/фичи → BallTree или более продвинутые ANN (LSH, Annoy).