ZipDepth

Instalasi

ZipDepth tidak memerlukan komponen tambahan opsional. Semua impornya tersedia dalam instalasi dasar.

pip install libreyolo

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali digunakan dan disimpan dalam cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreZipDepthb-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreZipDepthb-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Encoder sama, dengan head upsampling tanpa unfold untuk compiler yang tidak# mendukung gather/unfold. Output secara visual setara dengan checkpoint b.model = LibreYOLO("LibreZipDepthbnpu-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map menyimpan peta inverse-depth relatif yang padat: nilai lebih tinggi berarti lebih dekat ke kamera, dan nilainya tidak memiliki satuan metrik atau skala lintas gambar. save=True menulis visualisasi dengan colormap dari peta tersebut ke disk; Results.plot() tidak mencakup family ini karena didefinisikan hanya untuk surface normal dan tepi. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.

Varian

Dua checkpoint dengan kapasitas encoder sama, yang hanya berbeda pada head upsampling hasil pelatihan. b memakai convex upsampling dan berjalan pada GPU atau CPU. bnpu menggantinya dengan decoder tanpa unfold untuk compiler NPU dan edge yang tidak mendukung gather/unfold; outputnya didokumentasikan setara secara visual dengan b. Pilih bnpu jika target ekspor adalah runtime terbatas, atau b untuk lainnya.

Kedua checkpoint didistilasi dari pseudo-label Depth Anything V2 Large, sehingga family ini adalah tier ringkas berorientasi edge untuk task kedalaman LibreYOLO, berdampingan dengan encoder Depth Anything V2 yang lebih besar.

Pelatihan tidak ditawarkan untuk family ini. LibreZipDepth.train() selalu memunculkan NotImplementedError: resep upstream mendistilasi pseudo-label pada kumpulan gambar besar yang tidak dapat direproduksi sebagai proses pelatihan LibreYOLO. Lakukan pelatihan melalui upstream di fabiotosi92/ZipDepth dan konversi hasilnya dengan weights/convert_zipdepth_weights.py.

Validasi

val() menjalankan validator kedalaman bersama: metode ini menyelaraskan setiap prediksi dengan ground truth-nya memakai scale dan shift least-squares per gambar, lalu melaporkan metrik kedalaman relatif zero-shot standar, yaitu AbsRel, RMSE, dan tiga ambang delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreZipDepthb-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreZipDepthb-depth.pt data=my-dataset.yaml

Ekspor

Ekspor mengikuti kontrak padat beresolusi tetap: ukuran gambar sumber diregangkan ke canvas hasil ekspor, lalu peta kedalaman yang dikembalikan diubah kembali ke canvas asli. Artefak hasil ekspor dimuat kembali melalui LibreYOLO() berdasarkan sufiks berkasnya, sehingga berkas .onnx atau .ncnn berperilaku seperti checkpoint dan mengembalikan Results yang sama, dengan depth_map sebagai pengganti kotak.

from libreyolo import LibreYOLO model = LibreYOLO("LibreZipDepthb-depth.pt")model.export(format="onnx")model.export(format="ncnn")

libreyolo export model=LibreZipDepthb-depth.pt format=onnxlibreyolo export model=LibreZipDepthbnpu-depth.pt format=ncnn

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory merutekan berdasarkan sufiks berkas, sehingga artefak hasil ekspor# dimuat seperti checkpoint lain dan mengembalikan objek Results yang sama.model = LibreYOLO("LibreZipDepthb-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Checkpoint

Setiap berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@inproceedings{tosi2026zipdepth,
  title     = {ZipDepth: Bringing Lightweight Zero-Shot Monocular Depth Anywhere, on Any Device},
  author    = {Tosi, Fabio and Bartolomei, Luca and Poggi, Matteo and Mattoccia, Stefano},
  booktitle = {European Conference on Computer Vision (ECCV)},
  year      = {2026}
}