Depth Anything V2

Встановлення

Depth Anything V2 не потребує додаткових залежностей. Усе, що вона імпортує, входить до базового встановлення.

pip install libreyolo

Передбачення

Під час першого використання ваги завантажуються з Hugging Face і кешуються локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreDepthAnythingV2s-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")result = model(SAMPLE_IMAGE) depth = result.depth_map    # DepthMap: щільна (H, W), більше означає ближчеraw = depth.data                # Тензор без метричної одиниці чи масштабу між зображеннямиnormalized = depth.normalized() # Масштабовано до [0, 1] для візуалізації

result.depth_map містить щільну карту відносної оберненої глибини: більші значення означають ближче до камери, а значення не мають метричної одиниці чи спільного масштабу між зображеннями. save=True записує на диск візуалізацію цієї карти з кольоровою шкалою; Results.plot() не охоплює це сімейство, оскільки визначений лише для нормалей поверхні та країв. Вхідна роздільна здатність має ділитися на 14, розмір сітки патчів DINOv2, на якій побудовано голову DPT. LibreYOLO перевіряє це до запуску й спричиняє помилку за невідповідності. Типи джерел, потокове передбачення та обробку результатів описано в розділі передбачення.

Варіанти

Доступні чотири розміри енкодера s/b/l/g, що відповідають ViT-S/B/L/G. У таблиці контрольних точок нижче наведено лише s, b і l; контрольну точку Giant не опубліковано. Усі чотири мають однакову вхідну роздільну здатність, тому вибір розміру змінює місткість енкодера, а не розмір зображення. Ліцензія також впливає на вибір: контрольна точка Small має Apache-2.0, а Base і Large мають CC-BY-NC-4.0, див. розділ «Ліцензування» нижче.

Навчання й донавчання для цього сімейства не пропонуються. LibreDepthAnythingV2.train() завжди спричиняє NotImplementedError; натомість перетворіть сумісну початкову контрольну точку за допомогою weights/convert_depth_anything_v2_weights.py.

Валідація

val() запускає спільний валідатор глибини: він вирівнює кожне передбачення з еталонними даними за масштабом і зсувом методом найменших квадратів для кожного зображення, а потім повідомляє стандартні метрики відносної глибини без навчальних прикладів AbsRel, RMSE і три пороги delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreDepthAnythingV2s-depth.pt data=my-dataset.yaml

Експорт

Експортований артефакт знову завантажується через LibreYOLO() відповідно до суфікса файлу, тому файл .onnx або .engine поводиться як контрольна точка й повертає той самий об'єкт Results із depth_map замість рамок. У розділі експорту наведено аргументи, які приймає кожен формат.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDepthAnythingV2s-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDepthAnythingV2s-depth.pt format=onnxlibreyolo export model=LibreDepthAnythingV2s-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика маршрутизує за суфіксом файлу, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibreDepthAnythingV2s-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Контрольні точки

Усі опубліковані файли ваг цього сімейства.

Ліцензування

Цитування

@article{depth_anything_v2,
  title={Depth Anything V2},
  author={Yang, Lihe and Kang, Bingyi and Huang, Zilong and Zhao, Zhen and Xu, Xiaogang and Feng, Jiashi and Zhao, Hengshuang},
  journal={arXiv:2406.09414},
  year={2024}
}