Depth Anything V2

Installazione

Depth Anything V2 non richiede nessun extra opzionale. Tutto ciò che importa è già nell'installazione base.

pip install libreyolo

Predizione

I pesi vengono scaricati da Hugging Face al primo utilizzo e restano in cache in locale.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreDepthAnythingV2s-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE) depth = result.depth_map    # DepthMap: densa (H, W), più alto = più vicinoraw = depth.data                # tensore, senza unità metrica né scala fra immagininormalized = depth.normalized() # riscalata in [0, 1] per la visualizzazione

result.depth_map contiene una mappa densa di profondità inversa relativa: valori più alti indicano una maggiore vicinanza alla camera, e i valori non hanno unità metrica né scala confrontabile fra immagini. save=True scrive su disco una visualizzazione della mappa con una colormap; Results.plot() non copre questa famiglia, perché è definito solo per le normali di superficie e i contorni. La risoluzione di input deve essere divisibile per 14, la griglia di patch DINOv2 su cui si appoggia la testa DPT; LibreYOLO lo verifica prima di eseguire e solleva un errore se non lo è. Vedi predizione per sorgenti, streaming e gestione dei risultati.

Varianti

Quattro dimensioni di encoder, s/b/l/g, corrispondenti a ViT-S/B/L/G. La tabella dei checkpoint qui sotto elenca solo s, b e l; nessun checkpoint Giant è stato pubblicato. Tutte e quattro condividono la stessa risoluzione di input, quindi scegliere una dimensione significa scambiare capacità dell'encoder, non dimensione dell'immagine. Anche la licenza conta: il checkpoint Small è Apache-2.0, mentre Base e Large sono CC-BY-NC-4.0, vedi Licenze più sotto.

L'addestramento e il fine-tuning non sono offerti per questa famiglia. LibreDepthAnythingV2.train() solleva sempre NotImplementedError; converti invece un checkpoint upstream compatibile, con weights/convert_depth_anything_v2_weights.py.

Validazione

val() esegue il validatore depth condiviso: allinea ogni predizione al suo ground truth con una scala e uno shift ai minimi quadrati calcolati per immagine, poi riporta le metriche standard di profondità relativa zero-shot, AbsRel, RMSE e le tre soglie delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreDepthAnythingV2s-depth.pt data=my-dataset.yaml

Esportazione

Un artefatto esportato si ricarica con LibreYOLO() in base al suffisso del file, quindi un file .onnx o .engine si comporta come un checkpoint e restituisce lo stesso Results, con depth_map al posto dei box. Esportazione elenca gli argomenti che ogni formato accetta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDepthAnythingV2s-depth.pt format=onnxlibreyolo export model=LibreDepthAnythingV2s-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory sceglie in base al suffisso del file, quindi un artefatto esportato# si carica come un qualsiasi checkpoint e restituisce lo stesso oggetto Results.model = LibreYOLO("LibreDepthAnythingV2s-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia.

Licenze

Citazione

@article{depth_anything_v2,
  title={Depth Anything V2},
  author={Yang, Lihe and Kang, Bingyi and Huang, Zilong and Zhao, Zhen and Xu, Xiaogang and Feng, Jiashi and Zhao, Hengshuang},
  journal={arXiv:2406.09414},
  year={2024}
}