PIDNet

Installer

PIDNet ne nécessite aucun extra facultatif. Tous ses imports figurent dans l'installation de base.

pip install libreyolo

Prédire

Les poids sont téléchargés depuis Hugging Face à la première utilisation et mis en cache localement. Le suffixe de nom de fichier -sem est obligatoire pour cette famille.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePIDNets-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # identifiants de classe (H, W)print(mask.classes)      # identifiants triés présents dans l'image

libreyolo predict model=LibrePIDNets-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

La segmentation sémantique renvoie un identifiant de classe par pixel, et non des boîtes. result.semantic_mask contient donc un tableau (H, W) dans .data et la liste des identifiants de classe présents dans l'image dans .classes. conf, iou et max_det sont acceptés pour la parité de l'API, mais n'ont aucun effet : le modèle affecte une classe à chaque pixel par argmax, sans seuil de confiance ni étape NMS. Consultez la prédiction pour les sources, le streaming et le traitement des résultats.

Variantes

Trois tailles sont proposées, toutes avec une entrée fixe de 1024 px. Les checkpoints publiés sont des conversions des poids PIDNet Cityscapes officiels, avec 19 classes.

LibreYOLO n'entraîne pas PIDNet : train() lève NotImplementedError pour cette famille, que le niveau de prise en charge ci-dessus indique comme réservée à l'inférence.

Valider

val() renvoie metrics/mIoU et metrics/pixel_accuracy, mesurés sur tout dataset dans le format utilisé pour l'entraînement.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibrePIDNets-sem.pt data=my-dataset.yaml

Exporter

Un artefact exporté se recharge par LibreYOLO() à partir de son suffixe de fichier. Un fichier .onnx ou .engine se comporte donc comme un checkpoint et renvoie le même objet Results. La page Export répertorie les arguments acceptés par chaque format.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibrePIDNets-sem.pt format=onnxlibreyolo export model=LibrePIDNets-sem.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory utilise le suffixe du fichier : un artefact exporté se charge# comme tout checkpoint et renvoie le même objet Results.model = LibreYOLO("LibrePIDNets-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoints

Tous les fichiers de poids publiés pour cette famille.

Licence

Citation

@misc{xu2022pidnet,
      title={PIDNet: A Real-time Semantic Segmentation Network Inspired from PID Controller}, 
      author={Jiacong Xu and Zixiang Xiong and Shankar P. Bhattacharyya},
      year={2022},
      eprint={2206.02066},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}