YOLO-NAS

Instalacja

YOLO-NAS nie wymaga niczego poza pakietem podstawowym.

pip install libreyolo

Predykcja

Punkt kontrolny, którego nazwy nie ma jeszcze na dysku, jest pobierany z publicznego CDN Deci, a nie z organizacji LibreYOLO, która nie udostępnia żadnych z tych wag. Przed rozpoczęciem transferu biblioteka raz na proces wyświetla warunki licencji Deci, a przed otwarciem pobranego pliku jego SHA-256 jest porównywane z przypiętą wartością. Dozwolone zastosowania opisano w sekcji licencjonowanie.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Nazwa, której nie ma jeszcze na dysku, jest pobierana z CDN Deci. Przed# pobraniem wyświetlane są warunki licencji Deci; pobranie pliku je akceptuje.model = LibreYOLO("LibreYOLONASs.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLONASs.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Przyrostek -pose wybiera głowicę pozy i jej własny zestaw wag.model = LibreYOLO("LibreYOLONASs-pose.pt")result = model(SAMPLE_IMAGE) print(result.keypoints.xy)

Zwracany obiekt Results jest taki sam dla każdej rodziny, więc zamiana na inny detektor wymaga zmiany jednego wiersza. Parametr conf ustawia próg pewności, a iou próg NMS. Informacje o źródłach, strumieniowaniu i obsłudze wyników znajdziesz w sekcji predykcja.

Warianty

Detekcja i estymacja pozy korzystają z tej samej architektury z różnymi głowicami i przyjmują te same argumenty. Rozmiary w poniższej tabeli dotyczą detekcji. Estymacja pozy jest dostępna w tych rozmiarach oraz w jednym mniejszym. Głowica pozy przewiduje zestaw punktów kluczowych COCO.

Trenowanie

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLONASs.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLONAS # Nie są używane punkty kontrolne Deci: model zaczyna od losowych wag,# więc wynik trenowania pochodzi wyłącznie z własnych danych.model = LibreYOLONAS(None, size="s")model.train(data="my-dataset.yaml", imgsz=640, batch=16)

Gdy epochs, lr0 i amp nie zostaną podane, są ustalane osobno dla każdego zadania, więc przebieg estymacji pozy rozpoczyna się z innymi wartościami domyślnymi niż przebieg detekcji. Domyślnym optymalizatorem jest AdamW. Liczba klas pochodzi z pliku YAML zbioru danych, a głowica jest przebudowywana przed pierwszą epoką. W głowicy pozy liczba punktów kluczowych jest obsługiwana tak samo, więc punkt kontrolny pozy COCO można dostroić do szkieletu o innej liczbie punktów.

Dostrajanie zaczyna się od wag Deci, których dotyczy licencja Deci. Trenowanie losowo zainicjalizowanego modelu nie korzysta z żadnego punktu kontrolnego Deci, jak pokazuje trzeci fragment powyżej.

Informacje o zbiorach danych, augmentacji, wielu GPU i loggerach znajdziesz w sekcji trenowanie.

Walidacja

Metoda val() zwraca słownik kluczy metrics/ obejmujących precyzję, czułość, mAP 50 i mAP 50-95, mierzone na dowolnym zbiorze danych w formacie użytym do trenowania.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLONASs.pt data=my-dataset.yaml

# Dołączony plik yaml COCO zawiera osadzony skrypt pobierania, dlatego wymaga# jawnego zezwolenia, chyba że zbiór danych jest już dostępny lokalnie.libreyolo val model=LibreYOLONASl.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Eksport

Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak punkt kontrolny i zwraca ten sam obiekt Results. Obsługiwane jest także uruchamianie grafu w samym środowisku uruchomieniowym bez zainstalowanego LibreYOLO, ale wówczas samodzielnie trzeba zaimplementować przetwarzanie wstępne i końcowe. Każdy format instaluje inny dodatek i przyjmuje kilka własnych argumentów. Obie informacje znajdują się na stronie danego formatu.

Eksport jest kolejną kopią tych samych wag w innym kontenerze. Eksportowanie punktu kontrolnego Deci nie zmienia ani pochodzenia wag, ani obejmującej je licencji.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLONASs.pt format=onnx imgsz=640

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, dlatego# artefakt ładuje się jak punkt kontrolny i zwraca ten sam obiekt Results.model = LibreYOLO("LibreYOLONASs.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Punkty kontrolne

Nie ma żadnych do wyświetlenia. Licencja Deci zabrania redystrybucji, dlatego organizacja LibreYOLO nie publikuje żadnych wag YOLO-NAS, a pobieranie jest kierowane gdzie indziej. Nazwa w postaci LibreYOLONAS<size>.pt albo LibreYOLONAS<size>-pose.pt dla estymacji pozy jest mapowana na odpowiedni obiekt w publicznym CDN Deci.

W ten sposób można pobierać tylko punkty kontrolne, których SHA-256 jest przypięte w bibliotece. Każdy inny przypadek jest bezpiecznie odrzucany zamiast otwierania niezweryfikowanego pliku pickle innej firmy. Taki plik trzeba pobrać ręcznie i przekazać jako ścieżkę. Plik znajdujący się już na dysku jest ładowany ze swojej ścieżki, bez pobierania i kontroli sumy. Dotyczy to również pliku .pth Deci pod oryginalną nazwą, który jest rozpoznawany przez moduł ładujący.

Licencjonowanie

Cytowanie

YOLO-NAS został opublikowany bez artykułu naukowego. Poniższa pozycja jest tą, o której cytowanie proszą jego autorzy, i dotyczy SuperGradients, biblioteki, w której model został wydany.

@misc{supergradients,
  doi = {10.5281/ZENODO.7789328},
  url = {https://zenodo.org/record/7789328},
  author = {Aharon,  Shay and {Louis-Dupont} and {Ofri Masad} and Yurkova,  Kate and {Lotem Fridman} and {Lkdci} and Khvedchenya,  Eugene and Rubin,  Ran and Bagrov,  Natan and Tymchenko,  Borys and Keren,  Tomer and Zhilko,  Alexander and {Eran-Deci}},
  title = {Super-Gradients},
  publisher = {GitHub},
  journal = {GitHub repository},
  year = {2021},
}