Depth Anything V2

Instalación

Depth Anything V2 no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

pip install libreyolo

Predicción

Los pesos se descargan de Hugging Face en el primer uso y se guardan en la caché local.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreDepthAnythingV2s-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE) depth = result.depth_map    # DepthMap: denso (H, W), mayor = más cercaraw = depth.data                # tensor, sin unidad métrica ni escala entre imágenesnormalized = depth.normalized() # reescalado a [0, 1] para visualización

result.depth_map lleva un mapa denso de profundidad inversa relativa: los valores más altos significan más cerca de la cámara, y los valores no tienen unidad métrica ni escala común entre imágenes. save=True escribe en disco una visualización de ese mapa con un mapa de color; Results.plot() no cubre esta familia, ya que está definido solo para normales de superficie y bordes. La resolución de entrada debe ser divisible por 14, la rejilla de parches de DINOv2 sobre la que se construye la cabeza DPT; LibreYOLO lo comprueba antes de ejecutar y lanza un error si no se cumple. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Cuatro tamaños de encoder, s/b/l/g, correspondientes a ViT-S/B/L/G. La tabla de checkpoints de abajo solo enumera s, b y l; no hay ningún checkpoint Giant publicado. Los cuatro comparten la misma resolución de entrada, así que elegir un tamaño intercambia capacidad del encoder, no tamaño de imagen. La licencia también es un factor: el checkpoint Small es Apache-2.0, mientras que Base y Large son CC-BY-NC-4.0, consulta Licencia más abajo.

El entrenamiento y el fine-tuning no se ofrecen para esta familia. LibreDepthAnythingV2.train() lanza NotImplementedError de forma incondicional; en su lugar, convierte un checkpoint upstream compatible con weights/convert_depth_anything_v2_weights.py.

Validación

val() ejecuta el validador de profundidad compartido: alinea cada predicción con su ground truth mediante una escala y un desplazamiento por mínimos cuadrados calculados para cada imagen, y después reporta las métricas estándar de profundidad relativa zero-shot, AbsRel, RMSE y los tres umbrales delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreDepthAnythingV2s-depth.pt data=my-dataset.yaml

Exportación

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results, con depth_map en lugar de boxes. Exportación enumera los argumentos que acepta cada formato.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDepthAnythingV2s-depth.pt format=onnxlibreyolo export model=LibreDepthAnythingV2s-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría enruta según la extensión del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo objeto# Results.model = LibreYOLO("LibreDepthAnythingV2s-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Licencia

Cita

@article{depth_anything_v2,
  title={Depth Anything V2},
  author={Yang, Lihe and Kang, Bingyi and Huang, Zilong and Zhao, Zhen and Xu, Xiaogang and Feng, Jiashi and Zhao, Hengshuang},
  journal={arXiv:2406.09414},
  year={2024}
}