YOLO-NAS

Installer

YOLO-NAS ne nécessite aucun extra au-delà du package de base.

pip install libreyolo

Prédire

Un nom de checkpoint qui n'est pas déjà présent sur le disque est récupéré depuis le CDN public de Deci, et non depuis l'organisation LibreYOLO, qui n'héberge aucun de ces poids. Avant le début du transfert, la bibliothèque affiche les conditions de licence de Deci une fois par processus. Avant l'ouverture du fichier téléchargé, son SHA-256 est comparé à une valeur épinglée. Les droits accordés par ces conditions sont décrits dans la section licence.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Un nom qui n'est pas déjà présent sur le disque est récupéré depuis le CDN de Deci.# Le téléchargement affiche d'abord les conditions de licence de Deci ; récupérer le fichier les accepte.model = LibreYOLO("LibreYOLONASs.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLONASs.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Le suffixe -pose sélectionne la tête de pose et son propre ensemble de poids.model = LibreYOLO("LibreYOLONASs-pose.pt")result = model(SAMPLE_IMAGE) print(result.keypoints.xy)

L'objet Results renvoyé est celui de toutes les familles, le remplacement du détecteur ne demande donc de modifier qu'une ligne. conf définit le seuil de confiance et iou le seuil de NMS. Consultez la prédiction pour les sources, le streaming et la gestion des résultats.

Variantes

La détection et la pose utilisent la même architecture avec des têtes différentes, et acceptent les mêmes arguments. Les tailles du tableau ci-dessous concernent la détection\u00a0; la pose est publiée dans ces tailles ainsi que dans une taille plus petite. La tête de pose prédit l'ensemble de points clés COCO.

Entraîner

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLONASs.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLONAS # Aucun checkpoint Deci n'est utilisé : le modèle part de poids aléatoires,# le résultat de l'exécution dérive donc uniquement de vos données.model = LibreYOLONAS(None, size="s")model.train(data="my-dataset.yaml", imgsz=640, batch=16)

Lorsque vous les omettez, epochs, lr0 et amp sont résolus pour chaque tâche. Une exécution de pose utilise donc des valeurs par défaut différentes d'une exécution de détection. L'optimiseur par défaut est AdamW. Le nombre de classes provient du fichier YAML du dataset et la tête est reconstruite en conséquence avant la première époque. Sur la tête de pose, le nombre de points clés est géré de la même manière, ce qui vous permet d'effectuer le fine-tuning d'un checkpoint de pose COCO sur un squelette de taille différente.

Le fine-tuning part des poids de Deci, qui sont couverts par la licence de Deci. L'entraînement d'un modèle initialisé aléatoirement n'emploie aucun checkpoint Deci\u00a0; il correspond au troisième extrait ci-dessus.

Consultez l'entraînement pour les datasets, l'augmentation, le multi-GPU et les loggers.

Valider

val() renvoie un dictionnaire de clés metrics/ couvrant la précision, le rappel, la mAP 50 et la mAP 50-95, mesurés sur tout dataset au format utilisé pour l'entraînement.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLONASs.pt data=my-dataset.yaml

# Le YAML COCO fourni contient un script de téléchargement intégré, il nécessite donc# une autorisation explicite sauf si le dataset est déjà présent localement.libreyolo val model=LibreYOLONASl.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Exporter

Un artefact exporté se recharge dans LibreYOLO() grâce au suffixe de son fichier. Un fichier .onnx ou .engine se comporte donc comme un checkpoint et renvoie les mêmes Results. Vous pouvez également exécuter le graphe dans un runtime nu, sans installer LibreYOLO, mais vous devez alors écrire vous-même le prétraitement et le post-traitement. Chaque format installe un extra différent et accepte quelques arguments qui lui sont propres. Ces deux aspects sont décrits sur la page du format concerné.

Un export est une autre copie des mêmes poids dans un conteneur différent. L'export d'un checkpoint Deci ne modifie ni l'origine des poids ni la licence qui les couvre.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLONASs.pt format=onnx imgsz=640

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La fabrique détermine le chemin selon le suffixe du fichier ; un artefact exporté se charge# donc comme tout checkpoint et renvoie le même objet Results.model = LibreYOLO("LibreYOLONASs.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoints

Il n'y en a aucun à énumérer. La licence de Deci interdit la redistribution, l'organisation LibreYOLO ne publie donc aucun poids YOLO-NAS et le téléchargement est résolu ailleurs\u00a0: un nom de la forme LibreYOLONAS<size>.pt, ou LibreYOLONAS<size>-pose.pt pour la pose, est associé à l'objet correspondant sur le CDN public de Deci.

Seuls les checkpoints dont la bibliothèque épingle le SHA-256 peuvent être récupérés de cette manière. Toute autre tentative échoue de façon sécurisée au lieu d'ouvrir un pickle tiers non vérifié\u00a0; vous devez télécharger le fichier manuellement et transmettre son chemin. Un fichier déjà présent sur le disque est chargé depuis son chemin, sans téléchargement ni contrôle par somme de vérification. Cela inclut un fichier Deci .pth sous son nom d'origine, que le chargeur reconnaît.

Licence

Citation

YOLO-NAS a été publié sans article. L'entrée ci-dessous est celle demandée par ses auteurs et couvre SuperGradients, la bibliothèque dans laquelle il a été publié.

@misc{supergradients,
  doi = {10.5281/ZENODO.7789328},
  url = {https://zenodo.org/record/7789328},
  author = {Aharon,  Shay and {Louis-Dupont} and {Ofri Masad} and Yurkova,  Kate and {Lotem Fridman} and {Lkdci} and Khvedchenya,  Eugene and Rubin,  Ran and Bagrov,  Natan and Tymchenko,  Borys and Keren,  Tomer and Zhilko,  Alexander and {Eran-Deci}},
  title = {Super-Gradients},
  publisher = {GitHub},
  journal = {GitHub repository},
  year = {2021},
}