MiDaS

Instalasi

MiDaS tidak memerlukan extra opsional. Semua yang diimpornya tersedia dalam instalasi dasar.

pip install libreyolo

Prediksi

MiDaS adalah satu-satunya family kedalaman yang tidak dipublikasikan ulang LibreYOLO di organisasi Hugging Face miliknya. Meminta checkpoint berdasarkan nama berkas LibreYOLO akan mengunduh aset resmi yang cocok langsung dari rilis GitHub isl-org/MiDaS, memeriksanya terhadap SHA-256 yang dipatok, lalu membungkusnya dengan metadata checkpoint LibreYOLO sebelum penggunaan pertama. Run berikutnya menggunakan kembali berkas lokal dalam cache. Lihat Lisensi untuk alasannya.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Belum tersedia di disk: LibreYOLO mengunduhnya dari rilis GitHub resmi# isl-org/MiDaS dan memeriksanya terhadap SHA-256 yang dipatok sebelum digunakan.model = LibreYOLO("LibreMiDaSl-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreMiDaSl-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Encoder EfficientNet-Lite3, lebih kecil dan cepat daripada ukuran DPT-Large l.model = LibreYOLO("LibreMiDaSs-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map memuat peta inverse-depth relatif yang padat. Nilai lebih tinggi berarti lebih dekat ke kamera, dan nilainya tidak memiliki satuan metrik atau skala lintas gambar. save=True menulis visualisasi berpeta warna dari peta tersebut ke disk. Results.plot() tidak mencakup family ini karena hanya didefinisikan untuk surface normal dan edge. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.

Varian

Ada dua varian dengan encoder berbeda, bukan sekadar skala berbeda dari encoder yang sama. s adalah MiDaS v2.1 Small dengan encoder EfficientNet-Lite3. l adalah DPT-Large dengan encoder ViT-L/16 dan decoder DPT yang diperkenalkan MiDaS untuk prediksi padat. Preprocessing-nya juga berbeda. s memakai resize aspek upper-bound dengan normalisasi mean/std ImageNet, sedangkan l memakai resize aspek minimal dengan mean dan std 0.5. Pilih s untuk CNN yang lebih ringan, atau l untuk akurasi decoder transformer.

Pelatihan tidak tersedia untuk family ini. LibreMiDaS.train() selalu memunculkan NotImplementedError.

Validasi

val() menjalankan validator kedalaman bersama. Setiap prediksi disejajarkan dengan ground truth melalui skala dan pergeseran least-squares per gambar, lalu validator melaporkan metrik kedalaman relatif zero-shot standar: AbsRel, RMSE, dan tiga ambang batas delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreMiDaSl-depth.pt data=my-dataset.yaml

Ekspor

Artefak hasil ekspor dapat dimuat kembali melalui LibreYOLO() berdasarkan akhiran berkasnya, sehingga berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama, dengan depth_map sebagai pengganti box.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreMiDaSl-depth.pt format=onnxlibreyolo export model=LibreMiDaSl-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory merutekan berdasarkan akhiran berkas, sehingga artefak hasil ekspor dimuat# seperti checkpoint lain dan mengembalikan objek Results yang sama.model = LibreYOLO("LibreMiDaSl-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Lisensi

Sitasi

@ARTICLE {Ranftl2022,
    author  = "Ren\'{e} Ranftl and Katrin Lasinger and David Hafner and Konrad Schindler and Vladlen Koltun",
    title   = "Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-Shot Cross-Dataset Transfer",
    journal = "IEEE Transactions on Pattern Analysis and Machine Intelligence",
    year    = "2022",
    volume  = "44",
    number  = "3"
}

@article{Ranftl2021,
	author    = {Ren\'{e} Ranftl and Alexey Bochkovskiy and Vladlen Koltun},
	title     = {Vision Transformers for Dense Prediction},
	journal   = {ICCV},
	year      = {2021},
}