MoGe-3

MoGe-3 is Microsoft's monocular geometry model. From one RGB image it predicts metric depth in metres, a camera-space point map, the camera intrinsics, a validity mask and surface normals. It is MoGe-2 plus a sparse 3D UNet that refines the predicted depth on a voxel grid. LibreYOLO ships the official ViT-L and ViT-g checkpoints for inference, validation and normal export.

Tác vụ
depth, surface normals
Kích thước
l, g at 840 px
Cài đặt
pip install libreyolo
Bậc hỗ trợ
Chỉ suy luận, từ v1.8.0. Chỉ dự đoán, kiểm định và xuất. Không áp dụng các tính năng huấn luyện.
Thượng nguồn
MoGe-3 của Microsoft, MIT. Bài báo, mã nguồn
Giấy phép
Mã nguồn MIT, trọng số MIT. Sử dụng thương mại

Install

MoGe-3 needs no optional extra. The sparse refiner is plain PyTorch and camera recovery uses SciPy, which is in the base install.

bash
pip install libreyolo

Predict

Weights download from the LibreYOLO Hugging Face mirrors on first use.

Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-depth.pt")depth = model(SAMPLE_IMAGE).depth_map print(depth.data.shape)        # (H, W) metres, inf outside the valid maskprint(depth.point_map.shape)   # (H, W, 3) camera-frame points in metresprint(depth.intrinsics)        # (3, 3) OpenCV pixel intrinsicsprint(depth.valid_mask.shape)  # (H, W) bool
Normals
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-normal.pt")normal = model(SAMPLE_IMAGE).normal_mapprint(normal.array.shape)      # (H, W, 3) unit vectors, OpenCV frame
CLI
libreyolo predict model=LibreMoGe3l-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg save=True

With a -depth checkpoint, result.depth_map holds metric depth in metres (encoding="depth", metric=True). The point map, intrinsics and validity mask are attached to it as depth_map.point_map, depth_map.intrinsics and depth_map.valid_mask; pixels outside the mask are inf. Points use OpenCV axes, and the intrinsics put pixel centres at integer coordinates. With a -normal checkpoint, result.normal_map holds unit normals in the OpenCV camera frame.

imgsz sets the ViT token budget, (imgsz // 14) ** 2 tokens laid out to the image aspect ratio. The default 840 is upstream's highest resolution level (3600 tokens); 490 is close to its lowest. Inputs keep their native resolution and every output is interpolated back to it. Inference runs in FP32 and always applies three refinement steps, as upstream does by default. One image runs per forward pass; there is no stacked-batch path.

CPU, CUDA and MPS all work without a compiled extension. The refiner's memory grows with imgsz, not with the input resolution.

Variants

Weight fileBackboneTask
LibreMoGe3l-depth.ptDINOv2 ViT-L/14depth, point map, intrinsics, mask
LibreMoGe3l-normal.ptDINOv2 ViT-L/14normals
LibreMoGe3g-depth.ptDINOv2 ViT-g/14depth, point map, intrinsics, mask
LibreMoGe3g-normal.ptDINOv2 ViT-g/14normals

The -depth and -normal files of one size hold the same tensors; the suffix picks the task. Against upstream on an RTX 3090 in FP32, the single-forward graph matches bit for bit and refined depth matches to floating-point rounding (p99 relative difference 4.7e-6 for l, 3.7e-5 for g).

MoGe-3 is not trainable in LibreYOLO: train() raises. Zero-shot val() runs the shared depth and normal validators.

Export

Tác vụONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
DepthDepth to ONNX: không được hỗ trợDepth to TorchScript: không được hỗ trợDepth to ExecuTorch: không được hỗ trợDepth to TensorRT: không được hỗ trợDepth to OpenVINO: không được hỗ trợDepth to Paddle: không được hỗ trợDepth to MNN: không được hỗ trợDepth to RKNN: không được hỗ trợDepth to Axelera: không được hỗ trợDepth to ncnn: không được hỗ trợDepth to TFLite: không được hỗ trợDepth to CoreML: không được hỗ trợDepth to Core AI: không được hỗ trợ
Surface normalsSurface normals to ONNX: được hỗ trợSurface normals to TorchScript: được hỗ trợSurface normals to ExecuTorch: không được hỗ trợSurface normals to TensorRT: không được hỗ trợSurface normals to OpenVINO: không được hỗ trợSurface normals to Paddle: không được hỗ trợSurface normals to MNN: không được hỗ trợSurface normals to RKNN: không được hỗ trợSurface normals to Axelera: không được hỗ trợSurface normals to ncnn: không được hỗ trợSurface normals to TFLite: không được hỗ trợSurface normals to CoreML: không được hỗ trợSurface normals to Core AI: không được hỗ trợ

Only the normal graph exports, to ONNX and TorchScript, on a fixed square canvas. Depth export is blocked: the refiner builds data-dependent voxel sets and camera recovery is a CPU solve.

Python
from libreyolo import LibreYOLO # Only the normal graph exports; depth export is blocked.model = LibreYOLO("LibreMoGe3l-normal.pt")model.export(format="onnx")model.export(format="torchscript")

Checkpoints

TệpĐầu vào (px)Giấy phép trọng số
Depth
LibreMoGe3l-depth.ptmit
LibreMoGe3g-depth.ptmit
Surface normals
LibreMoGe3l-normal.pt840mit
LibreMoGe3g-normal.pt840mit

Mọi tệp ở trên hiện đều có trong tổ chức LibreYOLO và được tải xuống trong lần sử dụng đầu tiên.

Licensing

Hãy kiểm tra giấy phép trong repo Hugging Face của trọng số cụ thể mà bạn tải xuống. Mỗi checkpoint trong tổ chức LibreYOLO đều có giấy phép riêng và giấy phép có thể khác nhau trong cùng một họ. Repo đó là nguồn có thẩm quyền; phần tóm tắt dưới đây mô tả các điều khoản áp dụng khi trang này được kiểm chứng lần gần nhất.

Đây là phần mô tả các giấy phép liên quan, không phải tư vấn pháp lý. Nếu câu trả lời có ý nghĩa về mặt thương mại, hãy tự đọc các giấy phép và tham khảo cố vấn của riêng bạn.

Công trình gốc
MoGe-3, Microsoft
Giấy phép thượng nguồn
MIT
Nguồn thượng nguồn
github.com/microsoft/MoGe
Mã nguồn LibreYOLO
MIT
Trọng số
MIT, được phát hành lại tại huggingface.co/LibreYOLO
Diễn giải
MIT is a permissive license, so the MoGe-3 code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO ports the forward pass, sparse refinement and camera recovery from microsoft/MoGe at commit 74fbce054ebed49800de42d0ad0e83495065719a (MIT, Copyright Microsoft Corporation), re-expresses the FlexGEMM sparse kernels in plain PyTorch without vendoring them (FlexGEMM is MIT), and follows MIT utils3d helpers; the DINOv2 backbone keeps its separate Apache-2.0 attribution (libreyolo/models/moge3/NOTICE). The official checkpoints Ruicheng/moge-3-vitl (revision 184008f877d7ad1ad4c2cd2182a9bd1f63d0e5be) and Ruicheng/moge-3-vitg (revision 6ef26c5a4b4148dab5ccaacdb08b72dc66380475) declare MIT; LibreYOLO mirrors them unchanged, plus checkpoint metadata, as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.

MoGe-3 is by Microsoft (microsoft/MoGe). Code and weights are MIT, so commercial use is fine. The DINOv2 backbone keeps its Apache-2.0 attribution. LibreYOLO mirrors the official Ruicheng/moge-3-vitl and Ruicheng/moge-3-vitg checkpoints unchanged as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.

Citation

@misc{kong2026finedetailmonoculargeometryestimation,
      title={Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement},
      author={Lingyu Kong and Ruicheng Li and Ruicheng Wang and Sicheng Xu and Chengtang Yao and Jianfeng Xiang and Jiaolong Yang},
      year={2026},
      eprint={2607.17967},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2607.17967},
}

Được sao chép từ khối trích dẫn của tác giả tại github.com/microsoft/MoGe#-citation.

Đã kiểm chứng với LibreYOLO v1.8.0. Các bảng hỗ trợ, checkpoint và số liệu benchmark trên trang này được tạo từ thư viện đã phát hành và trọng số đã công bố, không phải viết thủ công.