D-FINE - детектор объектов в режиме реального времени, который предлагает улучшение регрессии bounding box в моделях DETR . D-FINE обладает высокой точностью локализации, определяя регрессию рамок как процесс итеративного уточнения распределений вероятностей.
D-FINE состоит из двух компонентов:
🟠Мелкозернистое уточнение распределения (Fine-grained Distribution Refinement, FDR).
FDR преобразует процесс регрессии из предсказания фиксированных координат в итеративное уточнение распределений вероятностей. Эта техника дает более детальное промежуточное представление, что повышает точность локализации.
🟠Глобальная оптимальная локализованная самодистилляция (Global Optimal Localization Self-Distillation, GO-LSD).
GO-LSD - двунаправленная стратегия оптимизации, которая передает знания о локализации из уточненных распределений в более ранние слои модели через самодистилляцию.
Старшие версии D-FINE-L и D-FINE-X достигают 54,0% и 55,8% AP на наборе данных COCO соответственно, работая со скоростью 124 и 78 FPS на GPU NVIDIA T4.
При предварительном обучении на Objects365 D-FINE-L и D-FINE-X показывают 57,1% и 59,3% AP, что выше всех существующих детекторов реального времени.
Разработчики D-FINE предлагают несколько предобученных моделей на датасетах Objects365 и COCO под разные задачи и мощности. Все модели поддерживают инференс на изображениях и видео с использованием ONNX Runtime, TensorRT и PyTorch:
🟢D-FINE-S: Самая компактная и быстрая модель (3.49 мс на T4 GPU);
🟢D-FINE-M: Модель среднего размера, баланс между точностью и скоростью (5.62 мс на T4 GPU);
🟢D-FINE-L: Модель высокой точности (8.07 мс на T4 GPU);
🟢D-FINE-X: Самая крупная и точная модель (12.89 мс на T4 GPU).
D-FINE предоставляет инструменты для обучения, бенчмаркинга, визуализации с помощью FiftyOne и инструкции по организации наборов данных.
▶️Локальный инференс на примере ONNX:
# Create env via conda
conda create -n dfine python=3.11.9
conda activate dfine
# Install requirements for inference
pip install -r tools/inference/requirements.txt
# Install ONNX
pip install onnx onnxsim
# Choose a model
export model=l # s, m, x
# Inference
python tools/inference/onnx_inf.py --onnx model.onnx --input image.jpg # video.mp4
📌Лицензирование: Apache 2.0 License.
🟡Arxiv
🖥Github
@ai_machinelearning_big_data
#AI #ML #DETR #DFine #Detection