PIDNet

Instalacja

PIDNet nie wymaga żadnego opcjonalnego dodatku. Wszystkie importowane elementy znajdują się w instalacji podstawowej.

pip install libreyolo

Predykcja

Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane w lokalnej pamięci podręcznej. Sufiks nazwy pliku -sem jest wymagany dla tej rodziny.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePIDNets-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # (H, W), identyfikatory klasprint(mask.classes)      # posortowane identyfikatory klas obecnych na obrazie

libreyolo predict model=LibrePIDNets-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Segmentacja semantyczna zwraca jeden identyfikator klasy na piksel, a nie ramki. Dlatego result.semantic_mask zawiera tablicę (H, W) w polu .data oraz listę identyfikatorów klas obecnych na obrazie w .classes. Argumenty conf, iou i max_det są przyjmowane dla zgodności API, ale nie mają wpływu na wynik. Model przypisuje klasę każdemu pikselowi przez argmax, bez progu pewności ani etapu NMS. Więcej informacji o źródłach, streamingu i obsłudze wyników zawiera strona predykcji.

Warianty

Dostępne są trzy rozmiary, wszystkie ze stałym wejściem 1024 px. Opublikowane checkpointy są konwersjami oficjalnych wag PIDNet wytrenowanych na Cityscapes z 19 klasami.

LibreYOLO nie trenuje PIDNet: train() zgłasza NotImplementedError dla tej rodziny, którą powyższy poziom obsługi oznacza jako przeznaczoną wyłącznie do inferencji.

Walidacja

val() zwraca metrics/mIoU i metrics/pixel_accuracy, zmierzone względem dowolnego zbioru danych w formacie użytym do trenowania.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibrePIDNets-sem.pt data=my-dataset.yaml

Eksport

Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak checkpoint i zwraca ten sam obiekt Results. Strona eksportu wymienia argumenty obsługiwane przez każdy format.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibrePIDNets-sem.pt format=onnxlibreyolo export model=LibrePIDNets-sem.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, więc wyeksportowany artefakt# ładuje się jak każdy checkpoint i zwraca ten sam obiekt Results.model = LibreYOLO("LibrePIDNets-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencja

Cytowanie

@misc{xu2022pidnet,
      title={PIDNet: A Real-time Semantic Segmentation Network Inspired from PID Controller}, 
      author={Jiacong Xu and Zixiang Xiong and Shankar P. Bhattacharyya},
      year={2022},
      eprint={2206.02066},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}