Deformable DETR

Installation

Deformable DETR ne demande aucun extra optionnel. Tout ce qu'il importe fait partie de l'installation de base, avec un cœur d'attention déformable multi-échelle en PyTorch pur.

pip install libreyolo

Installer libreyolo[hub-kernels] est optionnel. Une fois le paquet kernels présent, LibreYOLO récupère au runtime un kernel compilé d'attention déformable multi-échelle depuis le Hugging Face Hub et l'utilise à la place du cœur en PyTorch pur ; LIBREYOLO_HUB_KERNELS=0 le désactive à nouveau.

Prédire

Les poids sont téléchargés depuis Hugging Face au premier usage, puis mis en cache localement.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDeformableDETRr50.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDeformableDETRr50.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

L'objet Results renvoyé est celui que renvoie chaque famille, si bien que passer à un autre détecteur ne demande qu'une ligne. conf et max_det filtrent la sélection des requêtes ; iou est accepté par parité d'API mais n'a aucun effet, car le décodeur est un prédicteur d'ensembles sans étape de NMS. Voir la prédiction pour les sources, le streaming et le traitement des résultats.

Dans LibreYOLO, Deformable DETR est en inférence seule. Le projet d'origine l'entraîne avec un appariement hongrois et une focal loss de classification ; cette recette n'est pas implémentée ici, donc train() lève NotImplementedError.

Variantes

Cinq checkpoints couvrent les configurations publiées, toutes à la même résolution d'entrée. r50ss limite l'attention à une seule échelle de caractéristiques ; r50ssdc5 y ajoute un étage C5 dilaté dans le backbone. r50 est la configuration multi-échelle par défaut, qui échantillonne sur quatre niveaux de cartes de caractéristiques. r50refine ajoute un raffinement itératif des bounding box au fil des couches du décodeur, et r50twostage génère ses propositions de régions initiales à partir de la sortie de l'encodeur au lieu de requêtes apprises.

Valider

val() renvoie un dictionnaire de clés metrics/ couvrant la précision, le rappel, la mAP 50 et la mAP 50-95, mesurées sur n'importe quel dataset au format avec lequel vous avez entraîné.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeformableDETRr50.pt") # val() renvoie un simple dict, pas un objetmetrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])print(metrics["metrics/precision"], metrics["metrics/recall"])

libreyolo val model=LibreDeformableDETRr50.pt data=my-dataset.yaml

Exporter

Un artefact exporté se recharge via LibreYOLO() selon son extension de fichier, si bien qu'un fichier .onnx ou .engine se comporte comme un checkpoint et renvoie le même Results. L'export liste les arguments que chaque format accepte.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeformableDETRr50.pt")model.export(format="onnx", imgsz=800)model.export(format="tensorrt", imgsz=800, half=True)

libreyolo export model=LibreDeformableDETRr50.pt format=onnx imgsz=800libreyolo export model=LibreDeformableDETRr50.pt format=tensorrt imgsz=800 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory s'appuie sur l'extension du fichier, donc un artefact# exporté se charge comme n'importe quel checkpoint et renvoie le# même objet Results.model = LibreYOLO("LibreDeformableDETRr50.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoints

Tous les fichiers de poids publiés de cette famille.

Licence

Citation

@article{zhu2020deformable,
  title={Deformable DETR: Deformable Transformers for End-to-End Object Detection},
  author={Zhu, Xizhou and Su, Weijie and Lu, Lewei and Li, Bin and Wang, Xiaogang and Dai, Jifeng},
  journal={arXiv preprint arXiv:2010.04159},
  year={2020}
}