Depth Anything V2

Instalação

O Depth Anything V2 não precisa de nenhum extra opcional. Tudo o que ele importa está na instalação base.

pip install libreyolo

Predição

Os pesos são baixados do Hugging Face no primeiro uso e ficam em cache local.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreDepthAnythingV2s-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE) depth = result.depth_map    # DepthMap: denso (H, W), maior = mais pertoraw = depth.data                # tensor, sem unidade métrica nem escala entre imagensnormalized = depth.normalized() # reescalado para [0, 1] para visualização

result.depth_map carrega um mapa denso de profundidade inversa relativa: valores maiores significam mais perto da câmera, e os valores não têm unidade métrica nem escala entre imagens. save=True grava em disco uma visualização desse mapa com mapa de cores; Results.plot() não cobre esta família, já que está definido apenas para normais de superfície e bordas. A resolução de entrada precisa ser divisível por 14, a grade de patches do DINOv2 sobre a qual a cabeça DPT é construída; o LibreYOLO confere isso antes de rodar e levanta um erro se não for. Veja predição para fontes, streaming e tratamento de resultados.

Variantes

Quatro tamanhos de encoder, s/b/l/g, correspondendo a ViT-S/B/L/G. A tabela de checkpoints abaixo lista apenas s, b e l; nenhum checkpoint Giant foi publicado. Os quatro compartilham a mesma resolução de entrada, então escolher um tamanho troca capacidade do encoder, não tamanho de imagem. O licenciamento também pesa: o checkpoint Small é Apache-2.0, enquanto Base e Large são CC-BY-NC-4.0, veja Licenciamento abaixo.

Treinamento e fine-tuning não são oferecidos para esta família. LibreDepthAnythingV2.train() levanta NotImplementedError incondicionalmente; em vez disso, converta um checkpoint upstream compatível com weights/convert_depth_anything_v2_weights.py.

Validação

val() roda o validador de profundidade compartilhado: ele alinha cada predição ao seu ground truth com uma escala e um deslocamento de mínimos quadrados por imagem, e depois reporta as métricas padrão de profundidade relativa zero-shot, AbsRel, RMSE e os três limiares delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreDepthAnythingV2s-depth.pt data=my-dataset.yaml

Exportação

Um artefato exportado é carregado de volta por LibreYOLO() pelo sufixo do arquivo, então um arquivo .onnx ou .engine se comporta como um checkpoint e devolve o mesmo Results, com depth_map no lugar dos boxes. Exportação lista os argumentos que todo formato aceita.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDepthAnythingV2s-depth.pt format=onnxlibreyolo export model=LibreDepthAnythingV2s-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # A factory roteia pelo sufixo do arquivo, então um artefato exportado# carrega como qualquer checkpoint e devolve o mesmo objeto Results.model = LibreYOLO("LibreDepthAnythingV2s-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Checkpoints

Todos os arquivos de pesos publicados desta família.

Licenciamento

Citação

@article{depth_anything_v2,
  title={Depth Anything V2},
  author={Yang, Lihe and Kang, Bingyi and Huang, Zilong and Zhao, Zhen and Xu, Xiaogang and Feng, Jiashi and Zhao, Hengshuang},
  journal={arXiv:2406.09414},
  year={2024}
}