MoGe-2

Instalación

MoGe-2 no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

pip install libreyolo

Predicción

Los pesos se descargan automáticamente en el primer uso. Los tamaños s y l usan mirrors de LibreYOLO; b sigue usando el checkpoint upstream.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe2s-normal.pt")result = model(SAMPLE_IMAGE, save=True) normal = result.normal_mapprint(normal.array.shape)   # vectores unitarios float32 (H, W, 3)

libreyolo predict model=LibreMoGe2s-normal.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

MoGe-2 devuelve un campo denso en lugar de un conjunto de detecciones, así que result.boxes está vacío y conf, iou y max_det no tienen efecto. result.normal_map contiene el resultado: un array (H, W, 3) de vectores unitarios en el sistema de coordenadas de cámara de OpenCV, donde +x es hacia la derecha, +y hacia abajo, +z hacia el interior de la escena, y una superficie orientada hacia la cámara se lee como (0, 0, -1). Predecir una lista de imágenes ejecuta una pasada hacia delante por imagen; esta familia no tiene una ruta rápida de batch apilado. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Tres tamaños de encoder se publican como checkpoints separados: ViT-S, ViT-B y ViT-L, todos con la misma resolución de entrada. El banco de pruebas de LibreYOLO no ha medido esta familia, así que no hay cifras de precisión publicadas con las que compararlos; elige un tamaño según tu propio presupuesto de cómputo.

Validación

val() mide el error angular contra un dataset emparejado de mapas de normales: imágenes junto a PNG de normales de 16 bits con el mismo nombre base, con una máscara de validez opcional para que los píxeles rellenados e inválidos nunca cuenten. Devuelve el error angular medio y mediano en grados, más el porcentaje de píxeles dentro de 11,25, 22,5 y 30 grados.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMoGe2s-normal.pt")metrics = model.val(data="my-dataset.yaml", imgsz=518) print(metrics["metrics/mean_angular_error"])   # gradosprint(metrics["metrics/median_angular_error"])print(metrics["metrics/within_11_25"])          # porcentaje de píxeles

libreyolo val model=LibreMoGe2s-normal.pt data=my-dataset.yaml imgsz=518

Exportación

La exportación de normales usa un contrato de ejecución de resolución fija y batch 1: se rechazan dynamic y cualquier batch distinto de 1, y imgsz debe ser divisible por el tamaño de parche del encoder ViT, algo que LibreYOLO comprueba antes de que empiece la ejecución. Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx se comporta como un checkpoint y devuelve el mismo Results.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMoGe2s-normal.pt")model.export(format="onnx", imgsz=518)model.export(format="tensorrt", imgsz=518, half=True)

libreyolo export model=LibreMoGe2s-normal.pt format=onnx imgsz=518libreyolo export model=LibreMoGe2s-normal.pt format=tensorrt imgsz=518 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe2s-normal.onnx")result = model(SAMPLE_IMAGE) print(result.normal_map.array.shape)

Licencia

Cita

@inproceedings{wang2025moge,
  title={Moge: Unlocking accurate monocular geometry estimation for open-domain images with optimal training supervision},
  author={Wang, Ruicheng and Xu, Sicheng and Dai, Cassie and Xiang, Jianfeng and Deng, Yu and Tong, Xin and Yang, Jiaolong},
  booktitle={Proceedings of the Computer Vision and Pattern Recognition Conference},
  pages={5261--5271},
  year={2025}
}

@misc{wang2025moge2,
      title={MoGe-2: Accurate Monocular Geometry with Metric Scale and Sharp Details}, 
      author={Ruicheng Wang and Sicheng Xu and Yue Dong and Yu Deng and Jianfeng Xiang and Zelong Lv and Guangzhong Sun and Xin Tong and Jiaolong Yang},
      year={2025},
      eprint={2507.02546},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2507.02546}, 
}