YOLOv9

Installer

YOLOv9 ne nécessite aucun extra au-delà du package de base.

pip install libreyolo

Prédire

Les poids sont téléchargés depuis Hugging Face à la première utilisation et mis en cache localement.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreYOLO9s.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLO9s.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Même appel, autre checkpoint. La tête de bout en bout renvoie ses propres# prédictions aux scores les plus élevés, aucune NMS ne s'exécute donc et iou est ignoré.model = LibreYOLO("LibreYOLO9E2Es.pt")result = model(SAMPLE_IMAGE, conf=0.25, max_det=300) print(len(result.boxes))

L'objet Results renvoyé est celui de toutes les familles, le remplacement du détecteur ne demande donc de modifier qu'une ligne. Sur les modèles de base et de stride 4, conf définit le seuil de confiance et iou le seuil de NMS. Le modèle de bout en bout n'exécute aucune NMS et ignore iou ; conf et max_det déterminent donc sa sortie. Consultez la prédiction pour les sources, le streaming et la gestion des résultats.

Variantes

Trois variantes partagent un backbone. Toutes trois effectuent uniquement de la détection et acceptent les mêmes arguments.

Le modèle de base prédit sur trois échelles de caractéristiques et élimine les bounding boxes dupliquées avec la NMS.

Le modèle de bout en bout conserve cette tête et lui ajoute une branche d'appariement un-à-un. L'inférence lit uniquement cette branche et conserve ses prédictions aux scores les plus élevés, aucune NMS n'est donc exécutée. Choisissez-le lorsque le runtime de déploiement ne possède pas d'opérateur NMS.

Le modèle de stride 4 expose un niveau plus haut dans le backbone, prolonge le neck jusqu'à celui-ci et prédit sur quatre échelles au lieu de trois. L'échelle supplémentaire cible les objets qui couvrent peu de pixels ; l'unique checkpoint publié pour ce modèle est entraîné sur des images aériennes. Les checkpoints de détection de base peuvent y être transférés : le backbone et le neck sont chargés sans modification, les trois tours de tête pré-entraînées sont décalées d'un emplacement et la tour de stride 4 part d'une initialisation aléatoire.

Entraîner

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLO9s.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLO9P2 # La variante de stride 4 n'a pas de checkpoint COCO propre, utilisez donc le nom# d'un checkpoint de détection de base : son backbone et son neck se chargent sans# modification et la tour de tête de stride 4 part d'une initialisation aléatoire.model = LibreYOLO9P2(None, size="s")model.train(data="my-dataset.yaml", epochs=100, pretrained="LibreYOLO9s.pt")

pretrained détermine le point de départ de l'exécution. Transmettez True pour charger le checkpoint publié du même modèle et de la même taille, ou un nom ou chemin pour tout autre fichier. Les tenseurs dont la forme ne correspond pas sont ignorés plutôt que refusés, et l'exécution consigne le nombre de tenseurs chargés. Un checkpoint entraîné avec un nombre de classes différent reste donc un point de départ utilisable.

Le modèle de stride 4 n'a aucun checkpoint COCO publié qui lui soit propre. Pour celui-ci, True se résout donc en un fichier inexistant et le téléchargement échoue. Indiquez plutôt le nom d'un checkpoint de détection de base.

Consultez l'entraînement pour les datasets, l'augmentation, le multi-GPU et les loggers.

Le modèle de base peut entraîner une branche auxiliaire PGI à côté de sa tête principale. La branche sert uniquement à l'entraînement : la prédiction et l'export utilisent la tête principale. Un run l'attache lorsque les poids de départ contiennent des tenseurs PGI ou lorsqu'il s'entraîne à partir de zéro. Les checkpoints de base publiés n'en contiennent aucun, donc un fine-tuning à partir d'eux n'entraîne que la tête principale et le consigne dans les logs. aux_weight=0.25 attache malgré tout une nouvelle branche avec ce poids de loss, et aux_weight=0 la garde désactivée. Un run repris conserve la configuration PGI de son checkpoint. Sur les tailles m et c, la branche est celle d'origine : un second backbone sur l'image d'entrée, dont CBFuse somme les étapes avec les prises CBLinear du backbone principal, et sa propre tête, soit 12.8M et 25.7M de paramètres réservés à l'entraînement avec 80 classes. Les modèles de bout en bout et à stride 4 n'ont pas de branche PGI.

Les trois variantes écrêtent la norme L2 du gradient à 10 avant chaque pas de l'optimiseur ; clip_max_norm=0 désactive l'écrêtage. L'affectation des labels évalue les ancres en fp32, y compris sous autocast float16. max_labels=300 plafonne les boîtes conservées par image d'entraînement, et les boîtes au-delà sont ignorées avec un avertissement unique ; la mémoire d'affectation suit les boîtes réelles de chaque image, pas le plafond. Le momentum SGD passe de 0.8 à 0.937 pendant trois époques. letterbox_pad=None hérite de l'indication du checkpoint : les poids non marqués utilisent topleft, tandis que les nouvelles conversions officielles enregistrent center.

Les mosaïques YOLO9 et YOLOX privilégient les partenaires annotés, avec au plus 20 tirages ; MixUp dans YOLO9 utilise la même politique. MixUp est désactivé par défaut (mixup_prob=0). Lorsqu'il est activé, le ratio de mélange est tiré selon Beta(1, 1), uniforme sur [0, 1], comme dans MultimediaTechLab/YOLO. Consultez les histogrammes d'événements pour les profils d'entrée non RGB.

Valider

val() renvoie un dictionnaire de clés metrics/ couvrant la précision, le rappel, la mAP 50 et la mAP 50-95, mesurés sur tout dataset au format utilisé pour l'entraînement.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLO9s.pt data=my-dataset.yaml

# Le YAML COCO fourni contient un script de téléchargement intégré, il nécessite donc# une autorisation explicite sauf si le dataset est déjà présent localement.libreyolo val model=LibreYOLO9c.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Exporter

Une coche s'applique aux trois variantes ; lorsqu'elles diffèrent, la matrice indique la prise en charge la plus faible des trois.

Un artefact exporté se recharge dans LibreYOLO() grâce au suffixe de son fichier. Un fichier .onnx ou .engine se comporte donc comme un checkpoint et renvoie les mêmes Results. Vous pouvez également exécuter le graphe dans un runtime nu, sans installer LibreYOLO, mais vous devez alors écrire vous-même le prétraitement et le post-traitement.

Pour le modèle de détection de base, la moitié post-traitement peut être intégrée au graphe. nms=True lors d'un export ONNX place la suppression dans le modèle et la première sortie devient un tenseur fixe (1, max_det, 6) dont les lignes sont x1, y1, x2, y2, score, class, complétées par des zéros après le nombre de détections. Ce graphe utilise un batch de 1 et ne comporte aucun axe dynamique. Les modèles de bout en bout et de stride 4 n'acceptent pas ce paramètre.

Chaque format installe un extra différent et accepte quelques arguments qui lui sont propres. Ces deux aspects sont décrits sur la page du format concerné.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLO9s.pt format=onnx imgsz=640

libreyolo export model=LibreYOLO9s.pt format=onnx nms=True \  conf=0.25 iou=0.45 max_det=300

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La fabrique détermine le chemin selon le suffixe du fichier ; un artefact exporté se charge# donc comme tout checkpoint et renvoie le même objet Results.model = LibreYOLO("LibreYOLO9s.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

TFLite INT8 utilise int8=True avec des données de calibration.

Entrées et sorties ONNX

Checkpoints

Tous les fichiers de poids publiés pour cette famille.

Licence

Citation

@inproceedings{wang2024yolov9,
      title={{YOLOv9}: Learning What You Want to Learn Using Programmable Gradient Information},
      author={Wang, Chien-Yao and Yeh, I-Hau and Liao, Hong-Yuan Mark},
      year={2024},
      booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
}