Depth Anything V2

Installation

Depth Anything V2 ne demande aucun extra optionnel. Tout ce qu'il importe fait partie de l'installation de base.

pip install libreyolo

Prédire

Les poids sont téléchargés depuis Hugging Face au premier usage, puis mis en cache localement.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreDepthAnythingV2s-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE) depth = result.depth_map    # DepthMap : dense (H, W), valeur haute = plus procheraw = depth.data                # tenseur, sans unité métrique ni échelle communenormalized = depth.normalized() # ramené à [0, 1] pour la visualisation

result.depth_map porte une carte dense de profondeur inverse relative : les valeurs élevées correspondent aux points les plus proches de la caméra, et ces valeurs n'ont ni unité métrique ni échelle commune d'une image à l'autre. save=True écrit sur le disque une visualisation colorisée de cette carte ; Results.plot() ne couvre pas cette famille, puisqu'il n'est défini que pour les normales de surface et les contours. La résolution d'entrée doit être divisible par 14, la grille de patchs DINOv2 sur laquelle s'appuie la tête DPT ; LibreYOLO le vérifie avant l'exécution et lève une erreur si ce n'est pas le cas. Voir la prédiction pour les sources, le streaming et le traitement des résultats.

Variantes

Quatre tailles d'encodeur, s/b/l/g, correspondant à ViT-S/B/L/G. Le tableau des checkpoints ci-dessous ne liste que s, b et l ; aucun checkpoint Giant n'est publié. Les quatre partagent la même résolution d'entrée, si bien que choisir une taille arbitre la capacité de l'encodeur, pas la taille d'image. La licence compte aussi : le checkpoint Small est sous Apache-2.0, tandis que Base et Large sont sous CC-BY-NC-4.0, voir Licence plus bas.

L'entraînement et le fine-tuning ne sont pas proposés pour cette famille. LibreDepthAnythingV2.train() lève NotImplementedError sans condition ; convertissez plutôt un checkpoint amont compatible, avec weights/convert_depth_anything_v2_weights.py.

Valider

val() exécute le validateur de profondeur commun : il aligne chaque prédiction sur sa vérité terrain avec une échelle et un décalage estimés aux moindres carrés, image par image, puis rapporte les métriques standard de profondeur relative en zero-shot, AbsRel, RMSE et les trois seuils delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreDepthAnythingV2s-depth.pt data=my-dataset.yaml

Exporter

Un artefact exporté se recharge via LibreYOLO() selon son extension de fichier, si bien qu'un fichier .onnx ou .engine se comporte comme un checkpoint et renvoie le même Results, avec depth_map à la place des boîtes. L'export liste les arguments que chaque format accepte.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDepthAnythingV2s-depth.pt format=onnxlibreyolo export model=LibreDepthAnythingV2s-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory route selon l'extension du fichier : un artefact exporté# se charge comme un checkpoint et renvoie le même objet Results.model = LibreYOLO("LibreDepthAnythingV2s-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Checkpoints

Tous les fichiers de poids publiés de cette famille.

Licence

Citation

@article{depth_anything_v2,
  title={Depth Anything V2},
  author={Yang, Lihe and Kang, Bingyi and Huang, Zilong and Zhao, Zhen and Xu, Xiaogang and Feng, Jiashi and Zhao, Hengshuang},
  journal={arXiv:2406.09414},
  year={2024}
}