MoGe-3
MoGe-3 is Microsoft's monocular geometry model. From one RGB image it predicts metric depth in metres, a camera-space point map, the camera intrinsics, a validity mask and surface normals. It is MoGe-2 plus a sparse 3D UNet that refines the predicted depth on a voxel grid. LibreYOLO ships the official ViT-L and ViT-g checkpoints for inference, validation and normal export.
- Aufgaben
- depth, surface normals
- Größen
- l, g at 840 px
- Installation
pip install libreyolo- Supportstufe
- Nur Inferenz, seit v1.8.0. Nur Vorhersage, Validierung und Export. Trainingsfunktionen sind nicht verfügbar.
- Upstream
- MoGe-3 von Microsoft, MIT. Publikation, Quelle
- Lizenzen
- Code MIT, Gewichte MIT. Kommerzielle Nutzung
Install
MoGe-3 needs no optional extra. The sparse refiner is plain PyTorch and camera recovery uses SciPy, which is in the base install.
pip install libreyoloPredict
Weights download from the LibreYOLO Hugging Face mirrors on first use.
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-depth.pt")depth = model(SAMPLE_IMAGE).depth_map print(depth.data.shape) # (H, W) metres, inf outside the valid maskprint(depth.point_map.shape) # (H, W, 3) camera-frame points in metresprint(depth.intrinsics) # (3, 3) OpenCV pixel intrinsicsprint(depth.valid_mask.shape) # (H, W) boolfrom libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-normal.pt")normal = model(SAMPLE_IMAGE).normal_mapprint(normal.array.shape) # (H, W, 3) unit vectors, OpenCV framelibreyolo predict model=LibreMoGe3l-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg save=TrueWith a -depth checkpoint, result.depth_map holds metric depth in metres
(encoding="depth", metric=True). The point map, intrinsics and validity
mask are attached to it as depth_map.point_map, depth_map.intrinsics and
depth_map.valid_mask; pixels outside the mask are inf. Points use OpenCV
axes, and the intrinsics put pixel centres at integer coordinates. With a
-normal checkpoint, result.normal_map holds unit normals in the OpenCV
camera frame.
imgsz sets the ViT token budget, (imgsz // 14) ** 2 tokens laid out to the
image aspect ratio. The default 840 is upstream's highest resolution level
(3600 tokens); 490 is close to its lowest. Inputs keep their native
resolution and every output is interpolated back to it. Inference runs in
FP32 and always applies three refinement steps, as upstream does by default.
One image runs per forward pass; there is no stacked-batch path.
CPU, CUDA and MPS all work without a compiled extension. The refiner's memory
grows with imgsz, not with the input resolution.
Variants
| Weight file | Backbone | Task |
|---|---|---|
LibreMoGe3l-depth.pt | DINOv2 ViT-L/14 | depth, point map, intrinsics, mask |
LibreMoGe3l-normal.pt | DINOv2 ViT-L/14 | normals |
LibreMoGe3g-depth.pt | DINOv2 ViT-g/14 | depth, point map, intrinsics, mask |
LibreMoGe3g-normal.pt | DINOv2 ViT-g/14 | normals |
The -depth and -normal files of one size hold the same tensors; the
suffix picks the task. Against upstream on an RTX 3090 in FP32, the
single-forward graph matches bit for bit and refined depth matches to
floating-point rounding (p99 relative difference 4.7e-6 for l, 3.7e-5 for
g).
MoGe-3 is not trainable in LibreYOLO: train() raises. Zero-shot val()
runs the shared depth and normal validators.
Export
| Aufgabe | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Depth | Depth to ONNX: nicht unterstützt | Depth to TorchScript: nicht unterstützt | Depth to ExecuTorch: nicht unterstützt | Depth to TensorRT: nicht unterstützt | Depth to OpenVINO: nicht unterstützt | Depth to Paddle: nicht unterstützt | Depth to MNN: nicht unterstützt | Depth to RKNN: nicht unterstützt | Depth to Axelera: nicht unterstützt | Depth to ncnn: nicht unterstützt | Depth to TFLite: nicht unterstützt | Depth to CoreML: nicht unterstützt | Depth to Core AI: nicht unterstützt |
| Surface normals | Surface normals to ONNX: unterstützt | Surface normals to TorchScript: unterstützt | Surface normals to ExecuTorch: nicht unterstützt | Surface normals to TensorRT: nicht unterstützt | Surface normals to OpenVINO: nicht unterstützt | Surface normals to Paddle: nicht unterstützt | Surface normals to MNN: nicht unterstützt | Surface normals to RKNN: nicht unterstützt | Surface normals to Axelera: nicht unterstützt | Surface normals to ncnn: nicht unterstützt | Surface normals to TFLite: nicht unterstützt | Surface normals to CoreML: nicht unterstützt | Surface normals to Core AI: nicht unterstützt |
Only the normal graph exports, to ONNX and TorchScript, on a fixed square canvas. Depth export is blocked: the refiner builds data-dependent voxel sets and camera recovery is a CPU solve.
from libreyolo import LibreYOLO # Only the normal graph exports; depth export is blocked.model = LibreYOLO("LibreMoGe3l-normal.pt")model.export(format="onnx")model.export(format="torchscript")Checkpoints
| Datei | Eingabe (px) | Lizenz der Gewichte |
|---|---|---|
| Depth | ||
| LibreMoGe3l-depth.pt | mit | |
| LibreMoGe3g-depth.pt | mit | |
| Surface normals | ||
| LibreMoGe3l-normal.pt | 840 | mit |
| LibreMoGe3g-normal.pt | 840 | mit |
Jede oben aufgeführte Datei ist heute in der LibreYOLO-Organisation verfügbar und wird bei der ersten Verwendung heruntergeladen.
Licensing
Prüfe die Lizenz im Hugging-Face-Repository der konkreten Gewichte, die du herunterlädst. Jeder Checkpoint in der LibreYOLO-Organisation hat eine Lizenz, und sie ist innerhalb einer Familie nicht immer gleich. Dieses Repository ist die maßgebliche Quelle. Die Zusammenfassung unten beschreibt den Stand bei der letzten Verifizierung dieser Seite.
Dies ist eine Beschreibung der beteiligten Lizenzen und keine Rechtsberatung. Wenn die Antwort kommerziell relevant ist, lies die Lizenzen selbst und hole eigenen Rechtsrat ein.
- Originalarbeit
- MoGe-3, Microsoft
- Upstream-Lizenz
- MIT
- Upstream-Quelle
- github.com/microsoft/MoGe
- LibreYOLO-Code
- MIT
- Gewichte
- MIT, erneut unter huggingface.co/LibreYOLO veröffentlicht
- Einordnung
- MIT is a permissive license, so the MoGe-3 code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO ports the forward pass, sparse refinement and camera recovery from microsoft/MoGe at commit 74fbce054ebed49800de42d0ad0e83495065719a (MIT, Copyright Microsoft Corporation), re-expresses the FlexGEMM sparse kernels in plain PyTorch without vendoring them (FlexGEMM is MIT), and follows MIT utils3d helpers; the DINOv2 backbone keeps its separate Apache-2.0 attribution (libreyolo/models/moge3/NOTICE). The official checkpoints Ruicheng/moge-3-vitl (revision 184008f877d7ad1ad4c2cd2182a9bd1f63d0e5be) and Ruicheng/moge-3-vitg (revision 6ef26c5a4b4148dab5ccaacdb08b72dc66380475) declare MIT; LibreYOLO mirrors them unchanged, plus checkpoint metadata, as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.
MoGe-3 is by Microsoft (microsoft/MoGe).
Code and weights are MIT, so commercial use is fine. The DINOv2 backbone keeps
its Apache-2.0 attribution. LibreYOLO mirrors the official
Ruicheng/moge-3-vitl and Ruicheng/moge-3-vitg checkpoints unchanged as
LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.
Citation
@misc{kong2026finedetailmonoculargeometryestimation,
title={Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement},
author={Lingyu Kong and Ruicheng Li and Ruicheng Wang and Sicheng Xu and Chengtang Yao and Jianfeng Xiang and Jiaolong Yang},
year={2026},
eprint={2607.17967},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2607.17967},
}Aus dem Zitierblock der Autoren unter github.com/microsoft/MoGe#-citation kopiert.