YOLO-NAS

Installation

YOLO-NAS benötigt neben dem Basispaket kein zusätzliches Extra.

pip install libreyolo

Vorhersage

Ein Checkpoint-Name, der noch nicht lokal vorliegt, wird von Decis öffentlichem CDN und nicht von der LibreYOLO-Organisation geladen, da diese keine solchen Gewichte hostet. Vor Beginn der Übertragung zeigt die Bibliothek Decis Lizenzbedingungen einmal pro Prozess an. Bevor die heruntergeladene Datei geöffnet wird, prüft sie deren SHA-256 gegen einen fest hinterlegten Wert. Welche Nutzung diese Bedingungen erlauben, steht unter Lizenzierung.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Ein Name, der noch nicht lokal vorliegt, wird von Decis CDN geladen.# Vor dem Download werden Decis Lizenzbedingungen angezeigt; mit dem Herunterladen akzeptierst du sie.model = LibreYOLO("LibreYOLONASs.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLONASs.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Das Suffix -pose wählt den Pose-Kopf und dessen eigenen Gewichtssatz aus.model = LibreYOLO("LibreYOLONASs-pose.pt")result = model(SAMPLE_IMAGE) print(result.keypoints.xy)

Das zurückgegebene Results-Objekt entspricht dem jeder anderen Familie, sodass der Wechsel zu einem anderen Detektor nur eine einzige Codezeile erfordert. conf legt den Konfidenzschwellenwert und iou den NMS-Schwellenwert fest. Unter Vorhersage findest du Informationen zu Quellen, Streaming und Ergebnisverarbeitung.

Varianten

Objekterkennung und Posenschätzung verwenden dieselbe Architektur mit unterschiedlichen Köpfen und akzeptieren dieselben Argumente. Die Größen in der folgenden Tabelle gehören zur Objekterkennung. Für die Posenschätzung ist zusätzlich eine kleinere Größe verfügbar. Der Pose-Kopf sagt den COCO-Keypoint-Satz vorher.

Training

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLONASs.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLONAS # Es wird kein Deci-Checkpoint verwendet: Das Modell startet mit zufälligen Gewichten,# sodass das Ergebnis des Laufs ausschließlich aus deinen Daten hervorgeht.model = LibreYOLONAS(None, size="s")model.train(data="my-dataset.yaml", imgsz=640, batch=16)

Wenn du epochs, lr0 und amp auslässt, werden sie aufgabenspezifisch bestimmt. Ein Lauf zur Posenschätzung beginnt daher mit anderen Standardwerten als ein Erkennungslauf. Als Optimierer wird standardmäßig AdamW verwendet. Die Klassenanzahl stammt aus der Datensatz-YAML-Datei und der Kopf wird vor der ersten Epoche entsprechend neu aufgebaut. Beim Pose-Kopf wird die Keypoint-Anzahl auf dieselbe Weise behandelt, sodass sich ein COCO-Pose-Checkpoint auf ein Skelett anderer Größe feinabstimmen lässt.

Das Fine-Tuning beginnt mit Decis Gewichten, die Decis Lizenz unterliegen. Beim Training eines zufällig initialisierten Modells wird dagegen keinerlei Deci-Checkpoint verwendet. Dies zeigt das dritte Snippet oben.

Unter Training findest du Informationen zu Datensätzen, Augmentation, Multi-GPU und Loggern.

Validierung

val() gibt ein Dictionary mit metrics/-Schlüsseln für Precision, Recall, mAP 50 und mAP 50-95 zurück, gemessen anhand jedes Datensatzes im Format, das du für das Training verwendet hast.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLONASs.pt data=my-dataset.yaml

# Die mitgelieferte COCO-YAML-Datei enthält ein Downloadskript und benötigt# daher eine ausdrückliche Berechtigung, sofern der Datensatz noch nicht lokal vorliegt.libreyolo val model=LibreYOLONASl.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Export

Ein exportiertes Artefakt wird über seine Dateiendung wieder durch LibreYOLO() geladen. Eine .onnx- oder .engine-Datei verhält sich daher wie ein Checkpoint und gibt dasselbe Results-Objekt zurück. Du kannst den Graphen auch in einer eigenständigen Laufzeitumgebung ohne installiertes LibreYOLO ausführen. Dann musst du Vor- und Nachverarbeitung selbst implementieren. Jedes Format installiert ein anderes Extra und besitzt eigene Argumente. Beides ist auf der Seite des jeweiligen Formats beschrieben.

Ein Export ist eine weitere Kopie derselben Gewichte in einem anderen Container. Der Export eines Deci-Checkpoints ändert weder die Herkunft der Gewichte noch die dafür geltende Lizenz.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLONASs.pt format=onnx imgsz=640

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Die Factory leitet anhand der Dateiendung weiter, daher wird ein exportiertes Artefakt# wie jeder Checkpoint geladen und gibt dasselbe Results-Objekt zurück.model = LibreYOLO("LibreYOLONASs.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoints

Es gibt keine aufzulisten. Decis Lizenz verbietet die Weiterverteilung, daher veröffentlicht die LibreYOLO-Organisation keine YOLO-NAS-Gewichte und der Download wird an anderer Stelle aufgelöst. Ein Name der Form LibreYOLONAS<size>.pt oder für die Posenschätzung LibreYOLONAS<size>-pose.pt wird dem passenden Objekt auf Decis öffentlichem CDN zugeordnet.

Auf diese Weise lassen sich nur Checkpoints abrufen, deren SHA-256 die Bibliothek fest hinterlegt hat. Alle anderen werden sicher abgelehnt, statt ein ungeprüftes Pickle eines Drittanbieters zu öffnen. Du musst sie manuell herunterladen und als Pfad übergeben. Eine bereits lokal vorhandene Datei wird ohne Download und Prüfsummenprüfung von ihrem Pfad geladen. Das gilt auch für eine Deci-Datei mit der ursprünglichen Endung .pth, die der Loader erkennt.

Lizenzierung

Zitieren

YOLO-NAS wurde ohne Paper veröffentlicht. Der folgende Eintrag entspricht der von den Autoren gewünschten Angabe und bezieht sich auf SuperGradients, die Bibliothek, mit der es veröffentlicht wurde.

@misc{supergradients,
  doi = {10.5281/ZENODO.7789328},
  url = {https://zenodo.org/record/7789328},
  author = {Aharon,  Shay and {Louis-Dupont} and {Ofri Masad} and Yurkova,  Kate and {Lotem Fridman} and {Lkdci} and Khvedchenya,  Eugene and Rubin,  Ran and Bagrov,  Natan and Tymchenko,  Borys and Keren,  Tomer and Zhilko,  Alexander and {Eran-Deci}},
  title = {Super-Gradients},
  publisher = {GitHub},
  journal = {GitHub repository},
  year = {2021},
}