MoGe-3
MoGe-3は、Microsoftの単眼ジオメトリモデルです。1枚のRGB画像から、メートル単位の深度、カメラ座標系の点群マップ、カメラ内部パラメータ、有効マスク、表面法線を推定します。MoGe-2に、推定した深度をボクセルグリッド上で補正する疎な3D UNetを加えたものです。LibreYOLOは公式のViT-LとViT-gのチェックポイントを、推論、検証、法線のエクスポート向けに提供します。
- タスク
- depth, surface normals
- サイズ
- l, g at 840 px
- インストール
pip install libreyolo- サポートティア
- 推論のみ、v1.8.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
- ライセンス
- コード:MIT、重み:MIT。商用利用
インストール
MoGe-3にオプションのextraは不要です。疎な補正器は素のPyTorchで、カメラの復元には基本インストールに含まれるSciPyを使います。
pip install libreyolo推論
重みは初回使用時にLibreYOLOのHugging Faceミラーからダウンロードされます。
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-depth.pt")depth = model(SAMPLE_IMAGE).depth_map print(depth.data.shape) # (H, W)、メートル、有効マスク外はinfprint(depth.point_map.shape) # (H, W, 3)、カメラ座標系の点、メートルprint(depth.intrinsics) # (3, 3)、OpenCVのピクセル内部パラメータprint(depth.valid_mask.shape) # (H, W)、boolfrom libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-normal.pt")normal = model(SAMPLE_IMAGE).normal_mapprint(normal.array.shape) # (H, W, 3)、単位ベクトル、OpenCV座標系libreyolo predict model=LibreMoGe3l-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg save=True-depthチェックポイントでは、result.depth_mapはメートル単位の深度を保持します(encoding="depth"、metric=True)。点群マップ、内部パラメータ、有効マスクはdepth_map.point_map、depth_map.intrinsics、depth_map.valid_maskとして付属し、マスク外のピクセルはinfです。点はOpenCVの軸を使い、内部パラメータはピクセル中心を整数座標に置きます。-normalチェックポイントでは、result.normal_mapはOpenCVのカメラ座標系での単位法線を保持します。
imgszはViTのトークン数の上限を決め、画像のアスペクト比に合わせて(imgsz // 14) ** 2個のトークンを配置します。デフォルトの840はアップストリームの最高解像度レベル(3600トークン)で、490は最低レベルに近い値です。入力はネイティブ解像度を維持し、すべての出力はその解像度へ補間し直されます。推論はFP32で実行され、アップストリームのデフォルトと同じく常に3回の補正ステップを適用します。順伝播1回あたり1枚の画像を処理し、バッチをまとめる経路はありません。
CPU、CUDA、MPSのいずれも、コンパイル済みの拡張なしで動作します。補正器のメモリは入力解像度ではなくimgszに応じて増えます。
バリアント
| 重みファイル | バックボーン | タスク |
|---|---|---|
LibreMoGe3l-depth.pt | DINOv2 ViT-L/14 | 深度、点群マップ、内部パラメータ、マスク |
LibreMoGe3l-normal.pt | DINOv2 ViT-L/14 | 法線 |
LibreMoGe3g-depth.pt | DINOv2 ViT-g/14 | 深度、点群マップ、内部パラメータ、マスク |
LibreMoGe3g-normal.pt | DINOv2 ViT-g/14 | 法線 |
同じサイズの-depthと-normalのファイルは同じテンソルを保持し、接尾辞でタスクが決まります。RTX 3090上のFP32でアップストリームと比べると、順伝播1回のグラフはビット単位で一致し、補正後の深度は浮動小数点の丸め誤差の範囲で一致します(相対差のp99はlで4.7e-6、gで3.7e-5)。
MoGe-3はLibreYOLOでは学習できず、train()は例外を発生させます。ゼロショットのval()は共有の深度と法線のバリデーターを実行します。
エクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Depth | Depth to ONNX:非対応 | Depth to TorchScript:非対応 | Depth to ExecuTorch:非対応 | Depth to TensorRT:非対応 | Depth to OpenVINO:非対応 | Depth to Paddle:非対応 | Depth to MNN:非対応 | Depth to RKNN:非対応 | Depth to Axelera:非対応 | Depth to ncnn:非対応 | Depth to TFLite:非対応 | Depth to CoreML:非対応 | Depth to Core AI:非対応 |
| Surface normals | Surface normals to ONNX:対応 | Surface normals to TorchScript:対応 | Surface normals to ExecuTorch:非対応 | Surface normals to TensorRT:非対応 | Surface normals to OpenVINO:非対応 | Surface normals to Paddle:非対応 | Surface normals to MNN:非対応 | Surface normals to RKNN:非対応 | Surface normals to Axelera:非対応 | Surface normals to ncnn:非対応 | Surface normals to TFLite:非対応 | Surface normals to CoreML:非対応 | Surface normals to Core AI:非対応 |
エクスポートできるのは法線のグラフのみで、固定の正方形キャンバスでONNXとTorchScriptに出力します。深度のエクスポートはできません。補正器はデータに依存するボクセル集合を構築し、カメラの復元はCPUでの求解だからです。
from libreyolo import LibreYOLO # エクスポートできるのは法線のグラフのみ、深度のエクスポートは不可model = LibreYOLO("LibreMoGe3l-normal.pt")model.export(format="onnx")model.export(format="torchscript")チェックポイント
| ファイル | 入力(px) | 重みのライセンス |
|---|---|---|
| Depth | ||
| LibreMoGe3l-depth.pt | mit | |
| LibreMoGe3g-depth.pt | mit | |
| Surface normals | ||
| LibreMoGe3l-normal.pt | 840 | mit |
| LibreMoGe3g-normal.pt | 840 | mit |
上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- MoGe-3, Microsoft
- アップストリームのライセンス
- MIT
- アップストリームのソース
- github.com/microsoft/MoGe
- LibreYOLOのコード
- MIT
- 重み
- MIT、huggingface.co/LibreYOLOで再公開
- 解釈
- MIT is a permissive license, so the MoGe-3 code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO ports the forward pass, sparse refinement and camera recovery from microsoft/MoGe at commit 74fbce054ebed49800de42d0ad0e83495065719a (MIT, Copyright Microsoft Corporation), re-expresses the FlexGEMM sparse kernels in plain PyTorch without vendoring them (FlexGEMM is MIT), and follows MIT utils3d helpers; the DINOv2 backbone keeps its separate Apache-2.0 attribution (libreyolo/models/moge3/NOTICE). The official checkpoints Ruicheng/moge-3-vitl (revision 184008f877d7ad1ad4c2cd2182a9bd1f63d0e5be) and Ruicheng/moge-3-vitg (revision 6ef26c5a4b4148dab5ccaacdb08b72dc66380475) declare MIT; LibreYOLO mirrors them unchanged, plus checkpoint metadata, as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.
MoGe-3はMicrosoftによるものです(microsoft/MoGe)。コードと重みはMITのため、商用利用が可能です。DINOv2バックボーンはApache-2.0の帰属表示を維持します。LibreYOLOは公式のRuicheng/moge-3-vitlとRuicheng/moge-3-vitgのチェックポイントを、変更なしでLibreYOLO/LibreMoGe3{l,g}-{depth,normal}としてミラーしており、ゲートされていません。
引用
@misc{kong2026finedetailmonoculargeometryestimation,
title={Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement},
author={Lingyu Kong and Ruicheng Li and Ruicheng Wang and Sicheng Xu and Chengtang Yao and Jianfeng Xiang and Jiaolong Yang},
year={2026},
eprint={2607.17967},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2607.17967},
}著者によるgithub.com/microsoft/MoGe#-citationの引用ブロックからコピーしています。