MoGe-3

MoGe-3 is Microsoft's monocular geometry model. From one RGB image it predicts metric depth in metres, a camera-space point map, the camera intrinsics, a validity mask and surface normals. It is MoGe-2 plus a sparse 3D UNet that refines the predicted depth on a voxel grid. LibreYOLO ships the official ViT-L and ViT-g checkpoints for inference, validation and normal export.

Задачі
depth, surface normals
Розміри
l, g at 840 px
Встановлення
pip install libreyolo
Рівень підтримки
Лише інференс, починаючи з v1.8.0. Лише передбачення, валідація та експорт. Функції навчання не застосовуються.
Першоджерело
MoGe-3, автори: Microsoft, ліцензія MIT. Стаття, джерело
Ліцензії
Код: MIT, ваги: MIT. Комерційне використання

Install

MoGe-3 needs no optional extra. The sparse refiner is plain PyTorch and camera recovery uses SciPy, which is in the base install.

bash
pip install libreyolo

Predict

Weights download from the LibreYOLO Hugging Face mirrors on first use.

Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-depth.pt")depth = model(SAMPLE_IMAGE).depth_map print(depth.data.shape)        # (H, W) metres, inf outside the valid maskprint(depth.point_map.shape)   # (H, W, 3) camera-frame points in metresprint(depth.intrinsics)        # (3, 3) OpenCV pixel intrinsicsprint(depth.valid_mask.shape)  # (H, W) bool
Normals
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-normal.pt")normal = model(SAMPLE_IMAGE).normal_mapprint(normal.array.shape)      # (H, W, 3) unit vectors, OpenCV frame
CLI
libreyolo predict model=LibreMoGe3l-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg save=True

With a -depth checkpoint, result.depth_map holds metric depth in metres (encoding="depth", metric=True). The point map, intrinsics and validity mask are attached to it as depth_map.point_map, depth_map.intrinsics and depth_map.valid_mask; pixels outside the mask are inf. Points use OpenCV axes, and the intrinsics put pixel centres at integer coordinates. With a -normal checkpoint, result.normal_map holds unit normals in the OpenCV camera frame.

imgsz sets the ViT token budget, (imgsz // 14) ** 2 tokens laid out to the image aspect ratio. The default 840 is upstream's highest resolution level (3600 tokens); 490 is close to its lowest. Inputs keep their native resolution and every output is interpolated back to it. Inference runs in FP32 and always applies three refinement steps, as upstream does by default. One image runs per forward pass; there is no stacked-batch path.

CPU, CUDA and MPS all work without a compiled extension. The refiner's memory grows with imgsz, not with the input resolution.

Variants

Weight fileBackboneTask
LibreMoGe3l-depth.ptDINOv2 ViT-L/14depth, point map, intrinsics, mask
LibreMoGe3l-normal.ptDINOv2 ViT-L/14normals
LibreMoGe3g-depth.ptDINOv2 ViT-g/14depth, point map, intrinsics, mask
LibreMoGe3g-normal.ptDINOv2 ViT-g/14normals

The -depth and -normal files of one size hold the same tensors; the suffix picks the task. Against upstream on an RTX 3090 in FP32, the single-forward graph matches bit for bit and refined depth matches to floating-point rounding (p99 relative difference 4.7e-6 for l, 3.7e-5 for g).

MoGe-3 is not trainable in LibreYOLO: train() raises. Zero-shot val() runs the shared depth and normal validators.

Export

ЗадачаONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
DepthDepth to ONNX: не підтримуєтьсяDepth to TorchScript: не підтримуєтьсяDepth to ExecuTorch: не підтримуєтьсяDepth to TensorRT: не підтримуєтьсяDepth to OpenVINO: не підтримуєтьсяDepth to Paddle: не підтримуєтьсяDepth to MNN: не підтримуєтьсяDepth to RKNN: не підтримуєтьсяDepth to Axelera: не підтримуєтьсяDepth to ncnn: не підтримуєтьсяDepth to TFLite: не підтримуєтьсяDepth to CoreML: не підтримуєтьсяDepth to Core AI: не підтримується
Surface normalsSurface normals to ONNX: підтримуєтьсяSurface normals to TorchScript: підтримуєтьсяSurface normals to ExecuTorch: не підтримуєтьсяSurface normals to TensorRT: не підтримуєтьсяSurface normals to OpenVINO: не підтримуєтьсяSurface normals to Paddle: не підтримуєтьсяSurface normals to MNN: не підтримуєтьсяSurface normals to RKNN: не підтримуєтьсяSurface normals to Axelera: не підтримуєтьсяSurface normals to ncnn: не підтримуєтьсяSurface normals to TFLite: не підтримуєтьсяSurface normals to CoreML: не підтримуєтьсяSurface normals to Core AI: не підтримується

Only the normal graph exports, to ONNX and TorchScript, on a fixed square canvas. Depth export is blocked: the refiner builds data-dependent voxel sets and camera recovery is a CPU solve.

Python
from libreyolo import LibreYOLO # Only the normal graph exports; depth export is blocked.model = LibreYOLO("LibreMoGe3l-normal.pt")model.export(format="onnx")model.export(format="torchscript")

Checkpoints

ФайлВхід (пікс.)Ліцензія ваг
Depth
LibreMoGe3l-depth.ptmit
LibreMoGe3g-depth.ptmit
Surface normals
LibreMoGe3l-normal.pt840mit
LibreMoGe3g-normal.pt840mit

Кожен наведений вище файл уже доступний у організації LibreYOLO і завантажується під час першого використання.

Licensing

Перевіряйте ліцензію в репозиторії Hugging Face конкретних ваг, які завантажуєте. Кожна контрольна точка в організації LibreYOLO має ліцензію, і вона не завжди однакова для всього сімейства. Цей репозиторій є авторитетним джерелом, а наведене нижче резюме описує умови на момент останньої перевірки сторінки.

Це опис відповідних ліцензій, а не юридична консультація. Якщо відповідь має комерційне значення, самостійно прочитайте ліцензії та зверніться по юридичну консультацію.

Оригінальна робота
MoGe-3, Microsoft
Ліцензія першоджерела
MIT
Джерело першоджерела
github.com/microsoft/MoGe
Код LibreYOLO
MIT
Ваги
MIT, повторно опубліковано на huggingface.co/LibreYOLO
Тлумачення
MIT is a permissive license, so the MoGe-3 code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO ports the forward pass, sparse refinement and camera recovery from microsoft/MoGe at commit 74fbce054ebed49800de42d0ad0e83495065719a (MIT, Copyright Microsoft Corporation), re-expresses the FlexGEMM sparse kernels in plain PyTorch without vendoring them (FlexGEMM is MIT), and follows MIT utils3d helpers; the DINOv2 backbone keeps its separate Apache-2.0 attribution (libreyolo/models/moge3/NOTICE). The official checkpoints Ruicheng/moge-3-vitl (revision 184008f877d7ad1ad4c2cd2182a9bd1f63d0e5be) and Ruicheng/moge-3-vitg (revision 6ef26c5a4b4148dab5ccaacdb08b72dc66380475) declare MIT; LibreYOLO mirrors them unchanged, plus checkpoint metadata, as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.

MoGe-3 is by Microsoft (microsoft/MoGe). Code and weights are MIT, so commercial use is fine. The DINOv2 backbone keeps its Apache-2.0 attribution. LibreYOLO mirrors the official Ruicheng/moge-3-vitl and Ruicheng/moge-3-vitg checkpoints unchanged as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.

Citation

@misc{kong2026finedetailmonoculargeometryestimation,
      title={Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement},
      author={Lingyu Kong and Ruicheng Li and Ruicheng Wang and Sicheng Xu and Chengtang Yao and Jianfeng Xiang and Jiaolong Yang},
      year={2026},
      eprint={2607.17967},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2607.17967},
}

Скопійовано з блоку цитування авторів на сторінці github.com/microsoft/MoGe#-citation.

Перевірено з LibreYOLO v1.8.0. Таблиці підтримки, контрольні точки й результати бенчмарків на цій сторінці згенеровано з випущеної бібліотеки та опублікованих ваг, а не написано вручну.