MoGe-3
MoGe-3 is Microsoft's monocular geometry model. From one RGB image it predicts metric depth in metres, a camera-space point map, the camera intrinsics, a validity mask and surface normals. It is MoGe-2 plus a sparse 3D UNet that refines the predicted depth on a voxel grid. LibreYOLO ships the official ViT-L and ViT-g checkpoints for inference, validation and normal export.
- Задачі
- depth, surface normals
- Розміри
- l, g at 840 px
- Встановлення
pip install libreyolo- Рівень підтримки
- Лише інференс, починаючи з v1.8.0. Лише передбачення, валідація та експорт. Функції навчання не застосовуються.
- Ліцензії
- Код: MIT, ваги: MIT. Комерційне використання
Install
MoGe-3 needs no optional extra. The sparse refiner is plain PyTorch and camera recovery uses SciPy, which is in the base install.
pip install libreyoloPredict
Weights download from the LibreYOLO Hugging Face mirrors on first use.
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-depth.pt")depth = model(SAMPLE_IMAGE).depth_map print(depth.data.shape) # (H, W) metres, inf outside the valid maskprint(depth.point_map.shape) # (H, W, 3) camera-frame points in metresprint(depth.intrinsics) # (3, 3) OpenCV pixel intrinsicsprint(depth.valid_mask.shape) # (H, W) boolfrom libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-normal.pt")normal = model(SAMPLE_IMAGE).normal_mapprint(normal.array.shape) # (H, W, 3) unit vectors, OpenCV framelibreyolo predict model=LibreMoGe3l-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg save=TrueWith a -depth checkpoint, result.depth_map holds metric depth in metres
(encoding="depth", metric=True). The point map, intrinsics and validity
mask are attached to it as depth_map.point_map, depth_map.intrinsics and
depth_map.valid_mask; pixels outside the mask are inf. Points use OpenCV
axes, and the intrinsics put pixel centres at integer coordinates. With a
-normal checkpoint, result.normal_map holds unit normals in the OpenCV
camera frame.
imgsz sets the ViT token budget, (imgsz // 14) ** 2 tokens laid out to the
image aspect ratio. The default 840 is upstream's highest resolution level
(3600 tokens); 490 is close to its lowest. Inputs keep their native
resolution and every output is interpolated back to it. Inference runs in
FP32 and always applies three refinement steps, as upstream does by default.
One image runs per forward pass; there is no stacked-batch path.
CPU, CUDA and MPS all work without a compiled extension. The refiner's memory
grows with imgsz, not with the input resolution.
Variants
| Weight file | Backbone | Task |
|---|---|---|
LibreMoGe3l-depth.pt | DINOv2 ViT-L/14 | depth, point map, intrinsics, mask |
LibreMoGe3l-normal.pt | DINOv2 ViT-L/14 | normals |
LibreMoGe3g-depth.pt | DINOv2 ViT-g/14 | depth, point map, intrinsics, mask |
LibreMoGe3g-normal.pt | DINOv2 ViT-g/14 | normals |
The -depth and -normal files of one size hold the same tensors; the
suffix picks the task. Against upstream on an RTX 3090 in FP32, the
single-forward graph matches bit for bit and refined depth matches to
floating-point rounding (p99 relative difference 4.7e-6 for l, 3.7e-5 for
g).
MoGe-3 is not trainable in LibreYOLO: train() raises. Zero-shot val()
runs the shared depth and normal validators.
Export
| Задача | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Depth | Depth to ONNX: не підтримується | Depth to TorchScript: не підтримується | Depth to ExecuTorch: не підтримується | Depth to TensorRT: не підтримується | Depth to OpenVINO: не підтримується | Depth to Paddle: не підтримується | Depth to MNN: не підтримується | Depth to RKNN: не підтримується | Depth to Axelera: не підтримується | Depth to ncnn: не підтримується | Depth to TFLite: не підтримується | Depth to CoreML: не підтримується | Depth to Core AI: не підтримується |
| Surface normals | Surface normals to ONNX: підтримується | Surface normals to TorchScript: підтримується | Surface normals to ExecuTorch: не підтримується | Surface normals to TensorRT: не підтримується | Surface normals to OpenVINO: не підтримується | Surface normals to Paddle: не підтримується | Surface normals to MNN: не підтримується | Surface normals to RKNN: не підтримується | Surface normals to Axelera: не підтримується | Surface normals to ncnn: не підтримується | Surface normals to TFLite: не підтримується | Surface normals to CoreML: не підтримується | Surface normals to Core AI: не підтримується |
Only the normal graph exports, to ONNX and TorchScript, on a fixed square canvas. Depth export is blocked: the refiner builds data-dependent voxel sets and camera recovery is a CPU solve.
from libreyolo import LibreYOLO # Only the normal graph exports; depth export is blocked.model = LibreYOLO("LibreMoGe3l-normal.pt")model.export(format="onnx")model.export(format="torchscript")Checkpoints
| Файл | Вхід (пікс.) | Ліцензія ваг |
|---|---|---|
| Depth | ||
| LibreMoGe3l-depth.pt | mit | |
| LibreMoGe3g-depth.pt | mit | |
| Surface normals | ||
| LibreMoGe3l-normal.pt | 840 | mit |
| LibreMoGe3g-normal.pt | 840 | mit |
Кожен наведений вище файл уже доступний у організації LibreYOLO і завантажується під час першого використання.
Licensing
Перевіряйте ліцензію в репозиторії Hugging Face конкретних ваг, які завантажуєте. Кожна контрольна точка в організації LibreYOLO має ліцензію, і вона не завжди однакова для всього сімейства. Цей репозиторій є авторитетним джерелом, а наведене нижче резюме описує умови на момент останньої перевірки сторінки.
Це опис відповідних ліцензій, а не юридична консультація. Якщо відповідь має комерційне значення, самостійно прочитайте ліцензії та зверніться по юридичну консультацію.
- Оригінальна робота
- MoGe-3, Microsoft
- Ліцензія першоджерела
- MIT
- Джерело першоджерела
- github.com/microsoft/MoGe
- Код LibreYOLO
- MIT
- Ваги
- MIT, повторно опубліковано на huggingface.co/LibreYOLO
- Тлумачення
- MIT is a permissive license, so the MoGe-3 code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO ports the forward pass, sparse refinement and camera recovery from microsoft/MoGe at commit 74fbce054ebed49800de42d0ad0e83495065719a (MIT, Copyright Microsoft Corporation), re-expresses the FlexGEMM sparse kernels in plain PyTorch without vendoring them (FlexGEMM is MIT), and follows MIT utils3d helpers; the DINOv2 backbone keeps its separate Apache-2.0 attribution (libreyolo/models/moge3/NOTICE). The official checkpoints Ruicheng/moge-3-vitl (revision 184008f877d7ad1ad4c2cd2182a9bd1f63d0e5be) and Ruicheng/moge-3-vitg (revision 6ef26c5a4b4148dab5ccaacdb08b72dc66380475) declare MIT; LibreYOLO mirrors them unchanged, plus checkpoint metadata, as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.
MoGe-3 is by Microsoft (microsoft/MoGe).
Code and weights are MIT, so commercial use is fine. The DINOv2 backbone keeps
its Apache-2.0 attribution. LibreYOLO mirrors the official
Ruicheng/moge-3-vitl and Ruicheng/moge-3-vitg checkpoints unchanged as
LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.
Citation
@misc{kong2026finedetailmonoculargeometryestimation,
title={Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement},
author={Lingyu Kong and Ruicheng Li and Ruicheng Wang and Sicheng Xu and Chengtang Yao and Jianfeng Xiang and Jiaolong Yang},
year={2026},
eprint={2607.17967},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2607.17967},
}Скопійовано з блоку цитування авторів на сторінці github.com/microsoft/MoGe#-citation.