MiDaS

Instalacja

MiDaS nie wymaga żadnego opcjonalnego dodatku. Wszystkie importowane elementy znajdują się w instalacji podstawowej.

pip install libreyolo

Predykcja

MiDaS jest jedyną rodziną głębi, której LibreYOLO nie publikuje ponownie we własnej organizacji Hugging Face. Żądanie checkpointu przez nazwę pliku LibreYOLO pobiera odpowiedni oficjalny artefakt bezpośrednio z wydań isl-org/MiDaS na GitHubie, sprawdza go względem przypiętego SHA-256 i przed pierwszym użyciem opakowuje metadanymi checkpointu LibreYOLO. Późniejsze uruchomienia ponownie używają lokalnego pliku z pamięci podręcznej. Przyczynę wyjaśnia sekcja Licencja.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Jeśli pliku nie ma jeszcze na dysku, LibreYOLO pobiera go z oficjalnego wydania# isl-org/MiDaS na GitHubie i przed użyciem sprawdza względem przypiętego SHA-256.model = LibreYOLO("LibreMiDaSl-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreMiDaSl-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Enkoder EfficientNet-Lite3, mniejszy i szybszy niż rozmiar DPT-Large l.model = LibreYOLO("LibreMiDaSs-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map zawiera gęstą mapę względnej odwrotności głębi: wyższe wartości oznaczają mniejszą odległość od kamery, a wartości nie mają jednostki metrycznej ani skali wspólnej dla obrazów. Ustawienie save=True zapisuje na dysku wizualizację tej mapy z nałożoną paletą kolorów. Results.plot() nie obsługuje tej rodziny, ponieważ zdefiniowano go tylko dla normalnych powierzchni i krawędzi. Więcej informacji o źródłach, streamingu i obsłudze wyników zawiera strona predykcji.

Warianty

Dostępne są dwa warianty z różnymi enkoderami, a nie tylko różne skale tej samej architektury. s to MiDaS v2.1 Small z enkoderem EfficientNet-Lite3. l to DPT-Large z enkoderem ViT-L/16 i dekoderem DPT wprowadzonym przez MiDaS do gęstej predykcji. Różni je także przetwarzanie wstępne. s stosuje zmianę rozmiaru proporcji z górną granicą oraz normalizację średnią/odchyleniem standardowym ImageNet. l stosuje minimalną zmianę rozmiaru proporcji ze średnią i odchyleniem standardowym 0.5. s należy wybrać jako lżejszą sieć CNN, a l dla dokładności dekodera transformerowego.

Ta rodzina nie obsługuje trenowania. LibreMiDaS.train() zawsze zgłasza NotImplementedError.

Walidacja

val() uruchamia wspólny walidator głębi. Dopasowuje każdą predykcję do jej danych referencyjnych (ground truth), obliczając dla każdego obrazu skalę i przesunięcie metodą najmniejszych kwadratów, po czym zwraca standardowe metryki głębi względnej zero-shot: AbsRel, RMSE i trzy progi delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreMiDaSl-depth.pt data=my-dataset.yaml

Eksport

Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak checkpoint i zwraca ten sam obiekt Results, z depth_map zamiast ramek.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreMiDaSl-depth.pt format=onnxlibreyolo export model=LibreMiDaSl-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, więc wyeksportowany artefakt# ładuje się jak każdy checkpoint i zwraca ten sam obiekt Results.model = LibreYOLO("LibreMiDaSl-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Licencja

Cytowanie

@ARTICLE {Ranftl2022,
    author  = "Ren\'{e} Ranftl and Katrin Lasinger and David Hafner and Konrad Schindler and Vladlen Koltun",
    title   = "Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-Shot Cross-Dataset Transfer",
    journal = "IEEE Transactions on Pattern Analysis and Machine Intelligence",
    year    = "2022",
    volume  = "44",
    number  = "3"
}

@article{Ranftl2021,
	author    = {Ren\'{e} Ranftl and Alexey Bochkovskiy and Vladlen Koltun},
	title     = {Vision Transformers for Dense Prediction},
	journal   = {ICCV},
	year      = {2021},
}