TEED

Instalacja

TEED nie wymaga żadnego opcjonalnego dodatku. Wszystkie importowane elementy znajdują się w instalacji podstawowej.

pip install libreyolo

Predykcja

LibreYOLO nie udostępnia checkpointu TEED. Oficjalnie opublikowane wagi wytrenowano na BIPED, którego warunki udostępnienia ograniczają użycie do celów niekomercyjnych, dlatego LibreYOLO nie tworzy ich kopii lustrzanej. Checkpoint, na którego użycie zezwala posiadana licencja, należy przekonwertować za pomocą weights/convert_teed_weights.py. Skrypt przed zapisaniem pliku, który LibreYOLO może bezpośrednio wczytać, sprawdza klucze tensorów względem architektury środowiska uruchomieniowego:

python weights/convert_teed_weights.py upstream.pth weights/LibreTEEDt-edge.pt --verify

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("weights/LibreTEEDt-edge.pt")result = model(SAMPLE_IMAGE, save=True) edges = result.edgesprint(edges.array.shape)        # (H, W) float32 w zakresie [0, 1]print(edges.binary(0.5).sum())  # liczba pikseli krawędzi po progowaniu

libreyolo predict model=weights/LibreTEEDt-edge.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.edges zawiera wynik: tablicę float32 (H, W) z wartościami w zakresie [0, 1]. Metoda .binary(threshold) zwraca logiczną maskę krawędzi. Model nie zwraca ramek, dlatego conf, iou i max_det nie mają wpływu na wynik. Więcej informacji o źródłach, streamingu i obsłudze wyników zawiera strona predykcji.

Warianty

W LibreYOLO model TEED jest dostępny w jednym rozmiarze. Zestaw testowy LibreYOLO nie wykonał pomiarów tej rodziny, dlatego nie ma opublikowanych wyników, z którymi można ją porównać.

Walidacja

val() zwraca miary F ODS i OIS w stylu BSDS, obliczone względem sparowanego zbioru danych krawędzi. Obrazy są umieszczone obok map krawędzi o tej samej nazwie bazowej. Opcjonalna maska poprawności sprawia, że dopełnione piksele nie są nigdy uwzględniane. imgsz musi być podzielne przez krok zmniejszania rozdzielczości sieci. Jeśli tak nie jest, LibreYOLO zgłasza czytelny błąd.

from libreyolo import LibreYOLO model = LibreYOLO("weights/LibreTEEDt-edge.pt")metrics = model.val(data="my-dataset.yaml", imgsz=352) print(metrics["metrics/ODS"])   # miara F w optymalnej skali zbioru danychprint(metrics["metrics/OIS"])   # miara F w optymalnej skali obrazu

libreyolo val model=weights/LibreTEEDt-edge.pt data=my-dataset.yaml imgsz=352

Eksport

Eksport krawędzi korzysta z kontraktu środowiska uruchomieniowego o stałej rozdzielczości i rozmiarze batcha 1. Argument dynamic oraz batch inny niż 1 są odrzucane, a wyeksportowany graf zwraca jedną scaloną mapę prawdopodobieństwa. Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, dlatego plik .onnx zachowuje się jak checkpoint i zwraca ten sam obiekt Results.

from libreyolo import LibreYOLO model = LibreYOLO("weights/LibreTEEDt-edge.pt")model.export(format="onnx", imgsz=352)model.export(format="tensorrt", imgsz=352, half=True)

libreyolo export model=weights/LibreTEEDt-edge.pt format=onnx imgsz=352libreyolo export model=weights/LibreTEEDt-edge.pt format=tensorrt imgsz=352 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("weights/LibreTEEDt-edge.onnx")result = model(SAMPLE_IMAGE) print(result.edges.array.shape)

Licencja

Cytowanie

@InProceedings{Soria_2023teed,
    author    = {Soria, Xavier and Li, Yachuan and Rouhani, Mohammad and Sappa, Angel D.},
    title     = {Tiny and Efficient Model for the Edge Detection Generalization},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
    month     = {October},
    year      = {2023},
    pages     = {1364-1373}
}