ZipDepth

Installation

ZipDepth benötigt kein optionales Extra. Alle Importe sind in der Basisinstallation enthalten.

pip install libreyolo

Vorhersage

Die Gewichte werden bei der ersten Verwendung von Hugging Face heruntergeladen und lokal zwischengespeichert.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreZipDepthb-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreZipDepthb-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Derselbe Encoder mit einem Upsampling-Kopf ohne Unfold für Compiler ohne# Gather-/Unfold-Unterstützung. Die Ausgabe entspricht visuell dem b-Checkpoint.model = LibreYOLO("LibreZipDepthbnpu-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map enthält eine dichte relative inverse Tiefenkarte. Höhere Werte bedeuten eine geringere Entfernung zur Kamera. Die Werte besitzen weder eine metrische Einheit noch eine bildübergreifende Skala. save=True schreibt eine farbcodierte Visualisierung dieser Karte auf den Datenträger. Results.plot() unterstützt diese Familie nicht, da die Methode nur für Oberflächennormalen und Kanten definiert ist. Unter Vorhersage findest du Informationen zu Quellen, Streaming und Ergebnisverarbeitung.

Varianten

Die beiden Checkpoints besitzen dieselbe Encoder-Kapazität und unterscheiden sich nur im trainierten Upsampling-Kopf. b verwendet konvexes Upsampling und läuft auf GPU oder CPU. bnpu ersetzt dies durch einen Decoder ohne Unfold für NPU- und Edge-Compiler, die Gather oder Unfold nicht unterstützen. Seine Ausgabe wird als visuell gleichwertig zu b beschrieben. Wähle bnpu für eine eingeschränkte Ziellaufzeitumgebung, andernfalls b.

Beide Checkpoints wurden aus Pseudo-Labels von Depth Anything V2 Large destilliert. Diese Familie bildet damit die kompakte, Edge-orientierte Stufe der Tiefenaufgabe von LibreYOLO neben den größeren Encodern von Depth Anything V2.

Für diese Familie wird kein Training angeboten. LibreZipDepth.train() löst bedingungslos NotImplementedError aus. Das Upstream-Rezept destilliert Pseudo-Labels über eine große Bildmenge und lässt sich nicht als LibreYOLO-Trainingslauf reproduzieren. Trainiere im Upstream-Projekt unter fabiotosi92/ZipDepth und konvertiere das Ergebnis mit weights/convert_zipdepth_weights.py.

Validierung

val() führt den gemeinsamen Tiefenvalidator aus. Er richtet jede Vorhersage anhand von Skalierung und Verschiebung nach der Methode der kleinsten Quadrate bildweise an der Ground Truth aus und meldet anschließend die üblichen Zero-Shot-Metriken für relative Tiefe: AbsRel, RMSE und die drei Delta-Schwellenwerte.

from libreyolo import LibreYOLO model = LibreYOLO("LibreZipDepthb-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreZipDepthb-depth.pt data=my-dataset.yaml

Export

Der Export verwendet einen dichten Vertrag mit fester Auflösung. Das Quellbild wird gestreckt auf den exportierten Canvas skaliert und die zurückgegebene Tiefenkarte anschließend wieder auf den ursprünglichen Canvas gebracht. Ein exportiertes Artefakt wird über seine Dateiendung wieder durch LibreYOLO() geladen. Eine .onnx- oder .ncnn-Datei verhält sich daher wie ein Checkpoint und gibt dasselbe Results-Objekt zurück, wobei depth_map an die Stelle von Boxen tritt.

from libreyolo import LibreYOLO model = LibreYOLO("LibreZipDepthb-depth.pt")model.export(format="onnx")model.export(format="ncnn")

libreyolo export model=LibreZipDepthb-depth.pt format=onnxlibreyolo export model=LibreZipDepthbnpu-depth.pt format=ncnn

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Die Factory leitet anhand der Dateiendung weiter, daher wird ein exportiertes Artefakt# wie jeder Checkpoint geladen und gibt dasselbe Results-Objekt zurück.model = LibreYOLO("LibreZipDepthb-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Checkpoints

Alle für diese Familie veröffentlichten Gewichtsdateien.

Lizenzierung

Zitieren

@inproceedings{tosi2026zipdepth,
  title     = {ZipDepth: Bringing Lightweight Zero-Shot Monocular Depth Anywhere, on Any Device},
  author    = {Tosi, Fabio and Bartolomei, Luca and Poggi, Matteo and Mattoccia, Stefano},
  booktitle = {European Conference on Computer Vision (ECCV)},
  year      = {2026}
}