DINO-DETR

DINO-DETR, publicado por IDEA Research con el nombre DINO, combina el entrenamiento con denoising contrastivo y la selección mixta de queries sobre la atención dispersa de Deformable DETR. LibreYOLO incluye tres tamaños para detección, solo inferencia.

Tareas: detection
Tamaños: r50, r50s5, swinl at 800 px
Instalación: pip install libreyolo
Nivel de compatibilidad: Solo inferencia, desde v. Solo permite predecir, validar y exportar. Las funciones de entrenamiento no se aplican.
Proyecto original: DINO-DETR de IDEA Research, Apache-2.0. Artículo, fuente
Licencias: Código Apache-2.0, pesos Apache-2.0. Uso comercial

Instalación

DINO-DETR no necesita ningún extra opcional. Todo lo que importa está en la instalación base, y usa el mismo núcleo de atención deformable multiescala en PyTorch puro que la familia Deformable DETR de LibreYOLO.

bash

pip install libreyolo

Instalar libreyolo[hub-kernels] es opcional. Una vez presente el paquete kernels, LibreYOLO descarga en tiempo de ejecución un kernel compilado de atención deformable multiescala desde el Hugging Face Hub y lo usa en lugar del núcleo en PyTorch puro; LIBREYOLO_HUB_KERNELS=0 lo vuelve a desactivar.

Predicción

Los pesos se descargan de Hugging Face en el primer uso y se guardan en la caché local.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDINODETRr50.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

CLI

libreyolo predict model=LibreDINODETRr50.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

El objeto Results devuelto es el mismo que devuelven todas las familias, así que cambiar a otro detector es un cambio de una línea. conf y max_det filtran la selección de queries; iou se acepta por paridad de API pero no tiene efecto, porque el decoder es un predictor de conjuntos sin paso de NMS. Consulta predicción para fuentes, streaming y manejo de resultados.

DINO-DETR es solo de inferencia en LibreYOLO. Upstream lo entrena con denoising contrastivo y matching húngaro; esa receta no está implementada aquí, así que train() lanza NotImplementedError.

Variantes

Tres checkpoints, todos a la misma resolución de entrada. r50 y r50s5 comparten un backbone ResNet-50 y se diferencian en cuántas escalas de mapas de características alimentan el decoder, cuatro frente a cinco. swinl cambia el backbone por Swin-L y también muestrea cinco escalas.

Validación

val() devuelve un diccionario de claves metrics/ que cubren precisión, recall, mAP 50 y mAP 50-95, medidas contra cualquier dataset en el formato con el que entrenaste.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreDINODETRr50.pt") # val() devuelve un dict normal, no un objetometrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])print(metrics["metrics/precision"], metrics["metrics/recall"])

CLI

libreyolo val model=LibreDINODETRr50.pt data=my-dataset.yaml

Exportación

Tarea	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Detection	Detection to ONNX: compatible	Detection to TorchScript: compatible	Detection to ExecuTorch: compatible	Detection to TensorRT: compatible	Detection to OpenVINO: compatible	Detection to Paddle: no compatible	Detection to MNN: no compatible	Detection to RKNN: no compatible	Detection to ncnn: no compatible	Detection to TFLite: no compatible	Detection to CoreML: no compatible	Detection to Core AI: no compatible

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results. Exportación lista los argumentos que acepta cada formato.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreDINODETRr50.pt")model.export(format="onnx", imgsz=800)model.export(format="tensorrt", imgsz=800, half=True)

CLI

libreyolo export model=LibreDINODETRr50.pt format=onnx imgsz=800libreyolo export model=LibreDINODETRr50.pt format=tensorrt imgsz=800 half=True

Usar el archivo exportado

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría enruta según la extensión del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo# objeto Results.model = LibreYOLO("LibreDINODETRr50.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Archivo	Entrada (px)	Licencia de los pesos
Detection
LibreDINODETRr50.pt	800	apache-2.0
LibreDINODETRr50s5.pt	800	apache-2.0
LibreDINODETRswinl.pt	800	apache-2.0

Todos los archivos anteriores existen hoy en la organización de LibreYOLO y se descargan la primera vez que se usan.

Licencia

Comprueba la licencia en el repositorio de Hugging Face de los pesos concretos que descargues. Cada checkpoint de la organización de LibreYOLO incluye una, y no siempre es la misma en toda una familia. Ese repositorio es la fuente autorizada; el resumen siguiente describe qué se aplicaba cuando se verificó esta página por última vez.

Esta es una descripción de las licencias implicadas, no asesoramiento legal. Si la respuesta es importante a nivel comercial, lee las licencias y busca tu propio asesoramiento.

Trabajo original: DINO-DETR, IDEA Research
Licencia del proyecto original: Apache-2.0
Fuente del proyecto original: github.com/IDEA-Research/DINO
Código de LibreYOLO: MIT
Pesos: Apache-2.0, republicados en huggingface.co/LibreYOLO
Interpretación: Apache-2.0 is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep its license text and attribution notices with any copy of the weights you redistribute, and it grants a patent license. It places no obligation on your own application code, and weights you train yourself on your own data are yours. The three checkpoints come from the authors' Google Drive release rather than a Hugging Face model card, and the upstream repository does not attach a license to the checkpoint files individually, so the redistribution basis is the repository-level Apache-2.0 declaration rather than a checkpoint-specific grant.

Los tres checkpoints oficiales provienen de la carpeta de publicación en Google Drive de los autores, no de una model card de Hugging Face. El repositorio upstream declara Apache-2.0 a nivel de repositorio, pero no adjunta un archivo de licencia ni metadatos de licencia a los checkpoints en sí, así que la base para la redistribución es esa declaración a nivel de repositorio y no una concesión específica de los checkpoints. Todos los mirrors de LibreYOLO incluyen el texto literal de la licencia Apache-2.0 de upstream junto con un aviso que lo explica.

Cita

@misc{zhang2022dino,
      title={DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection}, 
      author={Hao Zhang and Feng Li and Shilong Liu and Lei Zhang and Hang Su and Jun Zhu and Lionel M. Ni and Heung-Yeung Shum},
      year={2022},
      eprint={2203.03605},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@inproceedings{li2022dn,
      title={Dn-detr: Accelerate detr training by introducing query denoising},
      author={Li, Feng and Zhang, Hao and Liu, Shilong and Guo, Jian and Ni, Lionel M and Zhang, Lei},
      booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
      pages={13619--13627},
      year={2022}
}

@inproceedings{
      liu2022dabdetr,
      title={{DAB}-{DETR}: Dynamic Anchor Boxes are Better Queries for {DETR}},
      author={Shilong Liu and Feng Li and Hao Zhang and Xiao Yang and Xianbiao Qi and Hang Su and Jun Zhu and Lei Zhang},
      booktitle={International Conference on Learning Representations},
      year={2022},
      url={https://openreview.net/forum?id=oMI9PjOb9Jl}
}

Copiado del bloque de cita de los autores en github.com/IDEA-Research/DINO#bibtex.