ZipDepth

Встановлення

ZipDepth не потребує додаткових залежностей. Усе, що вона імпортує, входить до базового встановлення.

pip install libreyolo

Передбачення

Під час першого використання ваги завантажуються з Hugging Face і кешуються локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreZipDepthb-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreZipDepthb-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Той самий енкодер із головою підвищення роздільної здатності без unfold# для компіляторів без підтримки gather/unfold. Вихід візуально еквівалентний b.model = LibreYOLO("LibreZipDepthbnpu-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map містить щільну карту відносної оберненої глибини: більші значення означають ближче до камери, а значення не мають метричної одиниці чи спільного масштабу між зображеннями. save=True записує на диск візуалізацію цієї карти з кольоровою шкалою; Results.plot() не охоплює це сімейство, оскільки визначений лише для нормалей поверхні та країв. Типи джерел, потокове передбачення та обробку результатів описано в розділі передбачення.

Варіанти

Доступні дві контрольні точки з однаковою місткістю енкодера, які відрізняються лише навченою головою підвищення роздільної здатності. b використовує опукле підвищення роздільної здатності та працює на GPU або CPU. bnpu замінює його декодером без unfold для NPU та edge-компіляторів, які не підтримують gather/unfold; його вихід задокументовано як візуально еквівалентний b. Вибирайте bnpu для обмеженого середовища виконання, до якого експортується модель, і b в інших випадках.

Обидві контрольні точки дистильовано з псевдоміток Depth Anything V2 Large, тому це сімейство є компактним, орієнтованим на edge-пристрої рівнем завдання глибини LibreYOLO поряд із більшими енкодерами Depth Anything V2.

Навчання для цього сімейства не пропонується. LibreZipDepth.train() завжди спричиняє NotImplementedError: початковий рецепт дистилює псевдомітки на великому наборі зображень, що не відтворюється як запуск навчання LibreYOLO. Навчіть модель засобами початкового проєкту fabiotosi92/ZipDepth і перетворіть результат за допомогою weights/convert_zipdepth_weights.py.

Валідація

val() запускає спільний валідатор глибини: він вирівнює кожне передбачення з еталонними даними за масштабом і зсувом методом найменших квадратів для кожного зображення, а потім повідомляє стандартні метрики відносної глибини без навчальних прикладів AbsRel, RMSE і три пороги delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreZipDepthb-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreZipDepthb-depth.pt data=my-dataset.yaml

Експорт

Експорт використовує щільний контракт із фіксованою роздільною здатністю: початкове зображення розтягується до експортованого полотна, а повернена карта глибини потім масштабується до початкового полотна. Експортований артефакт знову завантажується через LibreYOLO() відповідно до суфікса файлу, тому файл .onnx або .ncnn поводиться як контрольна точка й повертає той самий об'єкт Results із depth_map замість рамок.

from libreyolo import LibreYOLO model = LibreYOLO("LibreZipDepthb-depth.pt")model.export(format="onnx")model.export(format="ncnn")

libreyolo export model=LibreZipDepthb-depth.pt format=onnxlibreyolo export model=LibreZipDepthbnpu-depth.pt format=ncnn

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика маршрутизує за суфіксом файлу, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibreZipDepthb-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Контрольні точки

Усі опубліковані файли ваг цього сімейства.

Ліцензування

Цитування

@inproceedings{tosi2026zipdepth,
  title     = {ZipDepth: Bringing Lightweight Zero-Shot Monocular Depth Anywhere, on Any Device},
  author    = {Tosi, Fabio and Bartolomei, Luca and Poggi, Matteo and Mattoccia, Stefano},
  booktitle = {European Conference on Computer Vision (ECCV)},
  year      = {2026}
}