MiDaS

Instalación

MiDaS no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

pip install libreyolo

Predicción

MiDaS es la única familia de profundidad que LibreYOLO no republica en su propia organización de Hugging Face. Pedir un checkpoint por su nombre de archivo de LibreYOLO descarga el asset oficial correspondiente directamente de las releases de GitHub de isl-org/MiDaS, lo comprueba contra un SHA-256 fijado y lo envuelve con los metadatos de checkpoint de LibreYOLO antes del primer uso; las ejecuciones posteriores reutilizan el archivo local en caché. Consulta Licencia para saber por qué.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Aún no está en disco: LibreYOLO lo descarga de la release oficial de# isl-org/MiDaS en GitHub y lo comprueba contra un SHA-256 fijado antes de usarlo.model = LibreYOLO("LibreMiDaSl-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreMiDaSl-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Encoder EfficientNet-Lite3, más pequeño y rápido que el tamaño l, DPT-Large.model = LibreYOLO("LibreMiDaSs-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map lleva un mapa denso de profundidad inversa relativa: los valores más altos significan más cerca de la cámara, y los valores no tienen unidad métrica ni escala común entre imágenes. save=True escribe en disco una visualización de ese mapa con un mapa de color; Results.plot() no cubre esta familia, ya que está definido solo para normales de superficie y bordes. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Dos variantes con encoders diferentes, no solo escalas distintas del mismo encoder. s es MiDaS v2.1 Small, un encoder EfficientNet-Lite3. l es DPT-Large, un encoder ViT-L/16 con el decoder DPT que MiDaS introdujo para predicción densa. También preprocesan de forma distinta: s usa un redimensionado con cota superior de aspecto y normalización con la media/desviación típica de ImageNet, l usa un redimensionado de aspecto mínimo con media y desviación típica de 0.5. Elige s para una CNN más ligera, l para la precisión del decoder transformer.

El entrenamiento no se ofrece para esta familia. LibreMiDaS.train() lanza NotImplementedError de forma incondicional.

Validación

val() ejecuta el validador de profundidad compartido: alinea cada predicción con su ground truth mediante una escala y un desplazamiento por mínimos cuadrados calculados para cada imagen, y después reporta las métricas estándar de profundidad relativa zero-shot, AbsRel, RMSE y los tres umbrales delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreMiDaSl-depth.pt data=my-dataset.yaml

Exportación

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results, con depth_map en lugar de boxes.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreMiDaSl-depth.pt format=onnxlibreyolo export model=LibreMiDaSl-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría enruta según la extensión del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo objeto Results.model = LibreYOLO("LibreMiDaSl-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Licencia

Cita

@ARTICLE {Ranftl2022,
    author  = "Ren\'{e} Ranftl and Katrin Lasinger and David Hafner and Konrad Schindler and Vladlen Koltun",
    title   = "Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-Shot Cross-Dataset Transfer",
    journal = "IEEE Transactions on Pattern Analysis and Machine Intelligence",
    year    = "2022",
    volume  = "44",
    number  = "3"
}

@article{Ranftl2021,
	author    = {Ren\'{e} Ranftl and Alexey Bochkovskiy and Vladlen Koltun},
	title     = {Vision Transformers for Dense Prediction},
	journal   = {ICCV},
	year      = {2021},
}