MiDaS

Instalasi

MiDaS memerlukan extra midas untuk encoder timm-nya.

pip install "libreyolo[midas]"

Prediksi

Checkpoint s dan l diunduh dari mirror LibreYOLO dengan izin MIT dari penerbit dan disimpan dalam cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Mengunduh checkpoint dari mirror saat pertama kali dipakai.model = LibreYOLO("LibreMiDaSl-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreMiDaSl-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Encoder EfficientNet-Lite3, lebih kecil dan cepat daripada ukuran DPT-Large l.model = LibreYOLO("LibreMiDaSs-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map berisi peta kedalaman invers relatif yang rapat: nilai lebih besar berarti lebih dekat ke kamera, tanpa satuan metrik atau skala yang berlaku antar gambar. save=True menulis visualisasi peta berwarna ke disk; Results.plot() merender peta kedalaman. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.

Varian

Ada dua varian dengan encoder berbeda, bukan sekadar skala berbeda dari encoder yang sama. s adalah MiDaS v2.1 Small dengan encoder EfficientNet-Lite3. l adalah DPT-Large dengan encoder ViT-L/16 dan decoder DPT yang diperkenalkan MiDaS untuk prediksi padat. Preprocessing-nya juga berbeda. s memakai resize aspek upper-bound dengan normalisasi mean/std ImageNet, sedangkan l memakai resize aspek minimal dengan mean dan std 0.5. Pilih s untuk CNN yang lebih ringan, atau l untuk akurasi decoder transformer.

Pelatihan tidak tersedia untuk family ini. LibreMiDaS.train() selalu memunculkan NotImplementedError.

Validasi

val() menjalankan validator kedalaman bersama. Setiap prediksi disejajarkan dengan ground truth melalui skala dan pergeseran least-squares per gambar, lalu validator melaporkan metrik kedalaman relatif zero-shot standar: AbsRel, RMSE, dan tiga ambang batas delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreMiDaSl-depth.pt data=my-dataset.yaml

Ekspor

Artefak hasil ekspor dapat dimuat kembali melalui LibreYOLO() berdasarkan akhiran berkasnya, sehingga berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama, dengan depth_map sebagai pengganti box.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreMiDaSl-depth.pt format=onnxlibreyolo export model=LibreMiDaSl-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory merutekan berdasarkan akhiran berkas, sehingga artefak hasil ekspor dimuat# seperti checkpoint lain dan mengembalikan objek Results yang sama.model = LibreYOLO("LibreMiDaSl-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Lisensi

Sitasi

@ARTICLE {Ranftl2022,
    author  = "Ren\'{e} Ranftl and Katrin Lasinger and David Hafner and Konrad Schindler and Vladlen Koltun",
    title   = "Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-Shot Cross-Dataset Transfer",
    journal = "IEEE Transactions on Pattern Analysis and Machine Intelligence",
    year    = "2022",
    volume  = "44",
    number  = "3"
}

@article{Ranftl2021,
	author    = {Ren\'{e} Ranftl and Alexey Bochkovskiy and Vladlen Koltun},
	title     = {Vision Transformers for Dense Prediction},
	journal   = {ICCV},
	year      = {2021},
}