Depth Anything V2

Installation

Depth Anything V2 benötigt kein optionales Zusatzpaket. Alle Importe sind in der Basisinstallation enthalten.

pip install libreyolo

Vorhersage

Die Gewichte werden bei der ersten Verwendung von Hugging Face heruntergeladen und lokal zwischengespeichert.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreDepthAnythingV2s-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE) depth = result.depth_map    # DepthMap: dicht (H, W), größer = näherraw = depth.data                # Tensor ohne metrische Einheit oder bildübergreifende Skalanormalized = depth.normalized() # für die Visualisierung auf [0, 1] skaliert

result.depth_map enthält eine dichte Karte der relativen inversen Tiefe: Höhere Werte bedeuten eine geringere Entfernung zur Kamera. Die Werte haben weder eine metrische Einheit noch eine bildübergreifende Skala. save=True schreibt eine farbkodierte Visualisierung dieser Karte auf den Datenträger. Results.plot() unterstützt diese Familie nicht, weil es nur für Oberflächennormalen und Kanten definiert ist. Die Eingabeauflösung muss ohne Rest durch 14 teilbar sein. Dies entspricht dem DINOv2-Patch-Raster, auf dem der DPT-Head aufbaut. LibreYOLO prüft das vor der Ausführung und löst andernfalls einen Fehler aus. Unter Vorhersage findest du Quellen, Streaming und die Verarbeitung von Ergebnissen.

Varianten

Es gibt vier Encoder-Größen s/b/l/g, die ViT-S/B/L/G entsprechen. Die folgende Checkpoint-Tabelle führt nur s, b und l auf, weil kein Giant-Checkpoint veröffentlicht ist. Alle vier verwenden dieselbe Eingabeauflösung. Mit der Wahl einer Größe änderst du daher die Kapazität des Encoders, nicht die Bildgröße. Auch die Lizenz spielt eine Rolle: Der Small-Checkpoint steht unter Apache-2.0, Base und Large dagegen unter CC-BY-NC-4.0. Weitere Informationen findest du unten unter Lizenzierung.

Für diese Familie werden weder Training noch Fine-Tuning angeboten. LibreDepthAnythingV2.train() löst immer NotImplementedError aus. Konvertiere stattdessen einen kompatiblen Upstream-Checkpoint mit weights/convert_depth_anything_v2_weights.py.

Validierung

val() führt den gemeinsamen Tiefenvalidator aus: Er richtet jede Vorhersage mit einer bildweisen Least-Squares-Skalierung und -Verschiebung an ihrer Ground Truth aus und meldet anschließend die üblichen relativen Zero-Shot-Tiefenmetriken AbsRel, RMSE und die drei Delta-Schwellenwerte.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreDepthAnythingV2s-depth.pt data=my-dataset.yaml

Export

Ein exportiertes Artefakt wird anhand seiner Dateiendung wieder über LibreYOLO() geladen. Eine .onnx- oder .engine-Datei verhält sich daher wie ein Checkpoint, gibt dasselbe Results-Objekt zurück und enthält depth_map anstelle von Boxen. Export führt die Argumente auf, die von den einzelnen Formaten akzeptiert werden.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDepthAnythingV2s-depth.pt format=onnxlibreyolo export model=LibreDepthAnythingV2s-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Die Factory entscheidet anhand der Dateiendung, daher wird ein Exportartefakt# wie jeder Checkpoint geladen und gibt dasselbe Results-Objekt zurück.model = LibreYOLO("LibreDepthAnythingV2s-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Checkpoints

Alle veröffentlichten Gewichtsdateien dieser Familie.

Lizenzierung

Zitieren

@article{depth_anything_v2,
  title={Depth Anything V2},
  author={Yang, Lihe and Kang, Bingyi and Huang, Zilong and Zhao, Zhen and Xu, Xiaogang and Feng, Jiashi and Zhao, Hengshuang},
  journal={arXiv:2406.09414},
  year={2024}
}