MoGe-3
MoGe-3 is Microsoft's monocular geometry model. From one RGB image it predicts metric depth in metres, a camera-space point map, the camera intrinsics, a validity mask and surface normals. It is MoGe-2 plus a sparse 3D UNet that refines the predicted depth on a voxel grid. LibreYOLO ships the official ViT-L and ViT-g checkpoints for inference, validation and normal export.
- Tác vụ
- depth, surface normals
- Kích thước
- l, g at 840 px
- Cài đặt
pip install libreyolo- Bậc hỗ trợ
- Chỉ suy luận, từ v1.8.0. Chỉ dự đoán, kiểm định và xuất. Không áp dụng các tính năng huấn luyện.
- Giấy phép
- Mã nguồn MIT, trọng số MIT. Sử dụng thương mại
Install
MoGe-3 needs no optional extra. The sparse refiner is plain PyTorch and camera recovery uses SciPy, which is in the base install.
pip install libreyoloPredict
Weights download from the LibreYOLO Hugging Face mirrors on first use.
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-depth.pt")depth = model(SAMPLE_IMAGE).depth_map print(depth.data.shape) # (H, W) metres, inf outside the valid maskprint(depth.point_map.shape) # (H, W, 3) camera-frame points in metresprint(depth.intrinsics) # (3, 3) OpenCV pixel intrinsicsprint(depth.valid_mask.shape) # (H, W) boolfrom libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-normal.pt")normal = model(SAMPLE_IMAGE).normal_mapprint(normal.array.shape) # (H, W, 3) unit vectors, OpenCV framelibreyolo predict model=LibreMoGe3l-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg save=TrueWith a -depth checkpoint, result.depth_map holds metric depth in metres
(encoding="depth", metric=True). The point map, intrinsics and validity
mask are attached to it as depth_map.point_map, depth_map.intrinsics and
depth_map.valid_mask; pixels outside the mask are inf. Points use OpenCV
axes, and the intrinsics put pixel centres at integer coordinates. With a
-normal checkpoint, result.normal_map holds unit normals in the OpenCV
camera frame.
imgsz sets the ViT token budget, (imgsz // 14) ** 2 tokens laid out to the
image aspect ratio. The default 840 is upstream's highest resolution level
(3600 tokens); 490 is close to its lowest. Inputs keep their native
resolution and every output is interpolated back to it. Inference runs in
FP32 and always applies three refinement steps, as upstream does by default.
One image runs per forward pass; there is no stacked-batch path.
CPU, CUDA and MPS all work without a compiled extension. The refiner's memory
grows with imgsz, not with the input resolution.
Variants
| Weight file | Backbone | Task |
|---|---|---|
LibreMoGe3l-depth.pt | DINOv2 ViT-L/14 | depth, point map, intrinsics, mask |
LibreMoGe3l-normal.pt | DINOv2 ViT-L/14 | normals |
LibreMoGe3g-depth.pt | DINOv2 ViT-g/14 | depth, point map, intrinsics, mask |
LibreMoGe3g-normal.pt | DINOv2 ViT-g/14 | normals |
The -depth and -normal files of one size hold the same tensors; the
suffix picks the task. Against upstream on an RTX 3090 in FP32, the
single-forward graph matches bit for bit and refined depth matches to
floating-point rounding (p99 relative difference 4.7e-6 for l, 3.7e-5 for
g).
MoGe-3 is not trainable in LibreYOLO: train() raises. Zero-shot val()
runs the shared depth and normal validators.
Export
| Tác vụ | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Depth | Depth to ONNX: không được hỗ trợ | Depth to TorchScript: không được hỗ trợ | Depth to ExecuTorch: không được hỗ trợ | Depth to TensorRT: không được hỗ trợ | Depth to OpenVINO: không được hỗ trợ | Depth to Paddle: không được hỗ trợ | Depth to MNN: không được hỗ trợ | Depth to RKNN: không được hỗ trợ | Depth to Axelera: không được hỗ trợ | Depth to ncnn: không được hỗ trợ | Depth to TFLite: không được hỗ trợ | Depth to CoreML: không được hỗ trợ | Depth to Core AI: không được hỗ trợ |
| Surface normals | Surface normals to ONNX: được hỗ trợ | Surface normals to TorchScript: được hỗ trợ | Surface normals to ExecuTorch: không được hỗ trợ | Surface normals to TensorRT: không được hỗ trợ | Surface normals to OpenVINO: không được hỗ trợ | Surface normals to Paddle: không được hỗ trợ | Surface normals to MNN: không được hỗ trợ | Surface normals to RKNN: không được hỗ trợ | Surface normals to Axelera: không được hỗ trợ | Surface normals to ncnn: không được hỗ trợ | Surface normals to TFLite: không được hỗ trợ | Surface normals to CoreML: không được hỗ trợ | Surface normals to Core AI: không được hỗ trợ |
Only the normal graph exports, to ONNX and TorchScript, on a fixed square canvas. Depth export is blocked: the refiner builds data-dependent voxel sets and camera recovery is a CPU solve.
from libreyolo import LibreYOLO # Only the normal graph exports; depth export is blocked.model = LibreYOLO("LibreMoGe3l-normal.pt")model.export(format="onnx")model.export(format="torchscript")Checkpoints
| Tệp | Đầu vào (px) | Giấy phép trọng số |
|---|---|---|
| Depth | ||
| LibreMoGe3l-depth.pt | mit | |
| LibreMoGe3g-depth.pt | mit | |
| Surface normals | ||
| LibreMoGe3l-normal.pt | 840 | mit |
| LibreMoGe3g-normal.pt | 840 | mit |
Mọi tệp ở trên hiện đều có trong tổ chức LibreYOLO và được tải xuống trong lần sử dụng đầu tiên.
Licensing
Hãy kiểm tra giấy phép trong repo Hugging Face của trọng số cụ thể mà bạn tải xuống. Mỗi checkpoint trong tổ chức LibreYOLO đều có giấy phép riêng và giấy phép có thể khác nhau trong cùng một họ. Repo đó là nguồn có thẩm quyền; phần tóm tắt dưới đây mô tả các điều khoản áp dụng khi trang này được kiểm chứng lần gần nhất.
Đây là phần mô tả các giấy phép liên quan, không phải tư vấn pháp lý. Nếu câu trả lời có ý nghĩa về mặt thương mại, hãy tự đọc các giấy phép và tham khảo cố vấn của riêng bạn.
- Công trình gốc
- MoGe-3, Microsoft
- Giấy phép thượng nguồn
- MIT
- Nguồn thượng nguồn
- github.com/microsoft/MoGe
- Mã nguồn LibreYOLO
- MIT
- Trọng số
- MIT, được phát hành lại tại huggingface.co/LibreYOLO
- Diễn giải
- MIT is a permissive license, so the MoGe-3 code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO ports the forward pass, sparse refinement and camera recovery from microsoft/MoGe at commit 74fbce054ebed49800de42d0ad0e83495065719a (MIT, Copyright Microsoft Corporation), re-expresses the FlexGEMM sparse kernels in plain PyTorch without vendoring them (FlexGEMM is MIT), and follows MIT utils3d helpers; the DINOv2 backbone keeps its separate Apache-2.0 attribution (libreyolo/models/moge3/NOTICE). The official checkpoints Ruicheng/moge-3-vitl (revision 184008f877d7ad1ad4c2cd2182a9bd1f63d0e5be) and Ruicheng/moge-3-vitg (revision 6ef26c5a4b4148dab5ccaacdb08b72dc66380475) declare MIT; LibreYOLO mirrors them unchanged, plus checkpoint metadata, as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.
MoGe-3 is by Microsoft (microsoft/MoGe).
Code and weights are MIT, so commercial use is fine. The DINOv2 backbone keeps
its Apache-2.0 attribution. LibreYOLO mirrors the official
Ruicheng/moge-3-vitl and Ruicheng/moge-3-vitg checkpoints unchanged as
LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.
Citation
@misc{kong2026finedetailmonoculargeometryestimation,
title={Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement},
author={Lingyu Kong and Ruicheng Li and Ruicheng Wang and Sicheng Xu and Chengtang Yao and Jianfeng Xiang and Jiaolong Yang},
year={2026},
eprint={2607.17967},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2607.17967},
}Được sao chép từ khối trích dẫn của tác giả tại github.com/microsoft/MoGe#-citation.