ZipDepth

Instalacja

ZipDepth nie wymaga żadnego opcjonalnego dodatku. Wszystkie importowane elementy znajdują się w instalacji podstawowej.

pip install libreyolo

Predykcja

Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane w lokalnej pamięci podręcznej.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreZipDepthb-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreZipDepthb-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Ten sam enkoder z głowicą skalowania bez unfold dla kompilatorów bez obsługi# gather/unfold. Wynik jest wizualnie równoważny checkpointowi b.model = LibreYOLO("LibreZipDepthbnpu-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map zawiera gęstą mapę względnej odwrotności głębi: wyższe wartości oznaczają mniejszą odległość od kamery, a wartości nie mają jednostki metrycznej ani skali wspólnej dla obrazów. Ustawienie save=True zapisuje na dysku wizualizację tej mapy z nałożoną paletą kolorów. Results.plot() nie obsługuje tej rodziny, ponieważ zdefiniowano go tylko dla normalnych powierzchni i krawędzi. Więcej informacji o źródłach, streamingu i obsłudze wyników zawiera strona predykcji.

Warianty

Dwa checkpointy mają tę samą pojemność enkodera, a różnią się tylko wytrenowaną głowicą skalowania. b używa skalowania wypukłego i działa na GPU lub CPU. bnpu zastępuje je dekoderem bez unfold dla NPU i kompilatorów brzegowych bez obsługi gather/unfold. Jego wynik jest opisany jako wizualnie równoważny b. bnpu należy wybrać dla ograniczonego docelowego środowiska eksportu, a w pozostałych przypadkach b.

Oba checkpointy destylowano z pseudoetykiet Depth Anything V2 Large. Ta rodzina jest zatem kompaktowym poziomem zadania głębi LibreYOLO przeznaczonym do urządzeń brzegowych, obok większych enkoderów Depth Anything V2.

Ta rodzina nie obsługuje trenowania. LibreZipDepth.train() zawsze zgłasza NotImplementedError. Procedura źródłowa destyluje pseudoetykiety na dużym zbiorze obrazów, czego nie można odtworzyć jako przebiegu trenowania LibreYOLO. Model należy wytrenować w projekcie źródłowym fabiotosi92/ZipDepth, a wynik przekonwertować za pomocą weights/convert_zipdepth_weights.py.

Walidacja

val() uruchamia wspólny walidator głębi. Dopasowuje każdą predykcję do jej danych referencyjnych (ground truth), obliczając dla każdego obrazu skalę i przesunięcie metodą najmniejszych kwadratów, po czym zwraca standardowe metryki głębi względnej zero-shot: AbsRel, RMSE i trzy progi delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreZipDepthb-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreZipDepthb-depth.pt data=my-dataset.yaml

Eksport

Eksport korzysta ze stałego kontraktu gęstej rozdzielczości. Obraz źródłowy jest rozciągany do wyeksportowanego obszaru, a zwrócona mapa głębi jest potem skalowana do oryginalnego obszaru. Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, dlatego plik .onnx lub .ncnn zachowuje się jak checkpoint i zwraca ten sam obiekt Results, z depth_map zamiast ramek.

from libreyolo import LibreYOLO model = LibreYOLO("LibreZipDepthb-depth.pt")model.export(format="onnx")model.export(format="ncnn")

libreyolo export model=LibreZipDepthb-depth.pt format=onnxlibreyolo export model=LibreZipDepthbnpu-depth.pt format=ncnn

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, więc wyeksportowany artefakt# ładuje się jak każdy checkpoint i zwraca ten sam obiekt Results.model = LibreYOLO("LibreZipDepthb-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencja

Cytowanie

@inproceedings{tosi2026zipdepth,
  title     = {ZipDepth: Bringing Lightweight Zero-Shot Monocular Depth Anywhere, on Any Device},
  author    = {Tosi, Fabio and Bartolomei, Luca and Poggi, Matteo and Mattoccia, Stefano},
  booktitle = {European Conference on Computer Vision (ECCV)},
  year      = {2026}
}