YOLOv9

Instalacja

YOLOv9 nie wymaga niczego poza pakietem podstawowym.

pip install libreyolo

Predykcja

Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane w lokalnej pamięci podręcznej.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreYOLO9s.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLO9s.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # To samo wywołanie, inny punkt kontrolny. Głowica end-to-end zwraca własne# predykcje z najwyższymi wynikami, więc NMS nie jest wykonywane, a iou jest ignorowane.model = LibreYOLO("LibreYOLO9E2Es.pt")result = model(SAMPLE_IMAGE, conf=0.25, max_det=300) print(len(result.boxes))

Zwracany obiekt Results jest taki sam dla każdej rodziny, więc zamiana na inny detektor wymaga zmiany jednego wiersza. W modelach bazowym i z krokiem 4 parametr conf ustawia próg pewności, a iou próg NMS. Model end-to-end nie wykonuje NMS i ignoruje iou, dlatego jego wynik kształtują conf i max_det. Informacje o źródłach, strumieniowaniu i obsłudze wyników znajdziesz w sekcji predykcja.

Warianty

Trzy warianty korzystają ze wspólnego backbone. Wszystkie trzy służą wyłącznie do detekcji i przyjmują te same argumenty.

Model bazowy wykonuje predykcję na trzech skalach cech i usuwa zduplikowane ramki za pomocą NMS.

Model end-to-end zachowuje tę głowicę i dodaje obok niej gałąź dopasowania jeden do jednego. Wnioskowanie odczytuje wyłącznie gałąź jeden do jednego i wybiera jej predykcje z najwyższymi wynikami, dlatego NMS nie jest wykonywane. Wybierz ten model, gdy docelowe środowisko uruchomieniowe nie ma operatora NMS.

Model z krokiem 4 udostępnia jeden poziom wcześniej w backbone, rozszerza do niego moduł neck i wykonuje predykcję na czterech skalach zamiast trzech. Dodatkowa skala jest przeznaczona dla obiektów obejmujących niewiele pikseli. Jedyny opublikowany dla niej punkt kontrolny wytrenowano na obrazach lotniczych. Bazowe punkty kontrolne detekcji można do niego przenieść: backbone i neck są ładowane bez zmian, trzy wstępnie wytrenowane wieże głowicy przesuwają się o jedną pozycję, a wieża z krokiem 4 zaczyna od losowej inicjalizacji.

Trenowanie

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLO9s.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLO9P2 # Wariant z krokiem 4 nie ma własnego punktu kontrolnego COCO, dlatego należy# wskazać bazowy punkt kontrolny detekcji: backbone i neck zostaną załadowane# bez zmian, a wieża głowicy z krokiem 4 rozpocznie od losowej inicjalizacji.model = LibreYOLO9P2(None, size="s")model.train(data="my-dataset.yaml", epochs=100, pretrained="LibreYOLO9s.pt")

Parametr pretrained określa punkt początkowy przebiegu. Przekaż True, aby załadować opublikowany punkt kontrolny tego samego modelu i rozmiaru, albo nazwę lub ścieżkę do dowolnego innego. Tensory o niedopasowanym kształcie są pomijane, a nie odrzucane, a przebieg zapisuje liczbę załadowanych tensorów. Dzięki temu punkt kontrolny wytrenowany z inną liczbą klas nadal nadaje się na punkt początkowy.

Model z krokiem 4 nie ma własnego opublikowanego punktu kontrolnego COCO, dlatego True wskazuje w tym przypadku nieistniejący plik, a pobieranie kończy się niepowodzeniem. Zamiast tego wskaż bazowy punkt kontrolny detekcji.

Informacje o zbiorach danych, augmentacji, wielu GPU i loggerach znajdziesz w sekcji trenowanie.

Model bazowy może trenować pomocniczą gałąź PGI obok głównej głowicy. Gałąź jest używana tylko podczas trenowania: predykcja i eksport używają głównej głowicy. Uruchomienie dołącza ją, gdy wagi startowe zawierają tensory PGI albo gdy trenuje od zera. Opublikowane checkpointy bazowe nie zawierają żadnego, więc dostrajanie z nich trenuje tylko główną głowicę i to odnotowuje w logu. aux_weight=0.25 mimo to dołącza nową gałąź z tą wagą funkcji straty, a aux_weight=0 zostawia ją wyłączoną. Wznowione uruchomienie zachowuje konfigurację PGI ze swojego checkpointu. W rozmiarach m i c gałąź jest tą z oryginału: drugi backbone na obrazie wejściowym, którego etapy CBFuse sumuje z odczytami CBLinear z głównego backbone, oraz własna głowica, czyli 12.8M i 25.7M parametrów używanych tylko podczas trenowania przy 80 klasach. Modele end-to-end i z krokiem 4 nie mają gałęzi PGI.

Wszystkie trzy warianty obcinają normę L2 gradientu do 10 przed każdym krokiem optymalizatora; clip_max_norm=0 wyłącza obcinanie. Przypisanie etykiet ocenia kotwice w fp32, także przy autocast float16. max_labels=300 ogranicza liczbę ramek zachowanych na obraz treningowy, a ramki ponad ten limit są odrzucane z jednorazowym ostrzeżeniem; pamięć przypisania zależy od rzeczywistych ramek każdego obrazu, a nie od limitu. Momentum SGD rośnie z 0.8 do 0.937 w trakcie trzech epok. letterbox_pad=None dziedziczy znacznik checkpointu: nieoznaczone wagi używają topleft, a nowe oficjalne konwersje zapisują center.

Mosaic w YOLO9 i YOLOX preferuje obrazy z adnotacjami, wykonując najwyżej 20 losowań; MixUp w YOLO9 stosuje tę samą regułę. MixUp jest domyślnie wyłączony (mixup_prob=0). Gdy jest włączony, współczynnik mieszania jest losowany z rozkładu Beta(1, 1), jednostajnego na [0, 1], tak jak w MultimediaTechLab/YOLO. Profile wejścia inne niż RGB opisano w sekcji histogramów zdarzeń.

Walidacja

Metoda val() zwraca słownik kluczy metrics/ obejmujących precyzję, czułość, mAP 50 i mAP 50-95, mierzone na dowolnym zbiorze danych w formacie użytym do trenowania.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLO9s.pt data=my-dataset.yaml

# Dołączony plik yaml COCO zawiera osadzony skrypt pobierania, dlatego wymaga# jawnego zezwolenia, chyba że zbiór danych jest już dostępny lokalnie.libreyolo val model=LibreYOLO9c.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Eksport

Znacznik wyboru dotyczy wszystkich trzech wariantów. Jeśli ich obsługa formatu się różni, macierz podaje najsłabszy poziom spośród trzech.

Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak punkt kontrolny i zwraca ten sam obiekt Results. Obsługiwane jest także uruchamianie grafu w samym środowisku uruchomieniowym bez zainstalowanego LibreYOLO, ale wówczas samodzielnie trzeba zaimplementować przetwarzanie wstępne i końcowe.

Dla bazowego modelu detekcji część przetwarzania końcowego można przenieść do grafu. Ustawienie nms=True podczas eksportu ONNX umieszcza tłumienie wewnątrz modelu, a pierwszy wynik staje się stałym tensorem (1, max_det, 6), którego wiersze mają postać x1, y1, x2, y2, score, class i są dopełniane zerami po liczbie detekcji. Taki graf ma partię 1 i nie zawiera osi dynamicznych. Modele end-to-end i z krokiem 4 nie przyjmują tej flagi.

Każdy format instaluje inny dodatek i przyjmuje kilka własnych argumentów. Obie informacje znajdują się na stronie danego formatu.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLO9s.pt format=onnx imgsz=640

libreyolo export model=LibreYOLO9s.pt format=onnx nms=True \  conf=0.25 iou=0.45 max_det=300

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, dlatego# artefakt ładuje się jak punkt kontrolny i zwraca ten sam obiekt Results.model = LibreYOLO("LibreYOLO9s.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

TFLite INT8 używa int8=True z danymi kalibracyjnymi.

Wejścia i wyjścia ONNX

Punkty kontrolne

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencjonowanie

Cytowanie

@inproceedings{wang2024yolov9,
      title={{YOLOv9}: Learning What You Want to Learn Using Programmable Gradient Information},
      author={Wang, Chien-Yao and Yeh, I-Hau and Liao, Hong-Yuan Mark},
      year={2024},
      booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
}