MoGe-3

MoGe-3は、Microsoftの単眼ジオメトリモデルです。1枚のRGB画像から、メートル単位の深度、カメラ座標系の点群マップ、カメラ内部パラメータ、有効マスク、表面法線を推定します。MoGe-2に、推定した深度をボクセルグリッド上で補正する疎な3D UNetを加えたものです。LibreYOLOは公式のViT-LとViT-gのチェックポイントを、推論、検証、法線のエクスポート向けに提供します。

タスク
depth, surface normals
サイズ
l, g at 840 px
インストール
pip install libreyolo
サポートティア
推論のみ、v1.8.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
アップストリーム
MicrosoftのMoGe-3、MIT。論文、ソース
ライセンス
コード:MIT、重み:MIT。商用利用

インストール

MoGe-3にオプションのextraは不要です。疎な補正器は素のPyTorchで、カメラの復元には基本インストールに含まれるSciPyを使います。

bash
pip install libreyolo

推論

重みは初回使用時にLibreYOLOのHugging Faceミラーからダウンロードされます。

Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-depth.pt")depth = model(SAMPLE_IMAGE).depth_map print(depth.data.shape)        # (H, W)、メートル、有効マスク外はinfprint(depth.point_map.shape)   # (H, W, 3)、カメラ座標系の点、メートルprint(depth.intrinsics)        # (3, 3)、OpenCVのピクセル内部パラメータprint(depth.valid_mask.shape)  # (H, W)、bool
法線
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe3l-normal.pt")normal = model(SAMPLE_IMAGE).normal_mapprint(normal.array.shape)      # (H, W, 3)、単位ベクトル、OpenCV座標系
CLI
libreyolo predict model=LibreMoGe3l-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg save=True

-depthチェックポイントでは、result.depth_mapはメートル単位の深度を保持します(encoding="depth"、metric=True)。点群マップ、内部パラメータ、有効マスクはdepth_map.point_map、depth_map.intrinsics、depth_map.valid_maskとして付属し、マスク外のピクセルはinfです。点はOpenCVの軸を使い、内部パラメータはピクセル中心を整数座標に置きます。-normalチェックポイントでは、result.normal_mapはOpenCVのカメラ座標系での単位法線を保持します。

imgszはViTのトークン数の上限を決め、画像のアスペクト比に合わせて(imgsz // 14) ** 2個のトークンを配置します。デフォルトの840はアップストリームの最高解像度レベル(3600トークン)で、490は最低レベルに近い値です。入力はネイティブ解像度を維持し、すべての出力はその解像度へ補間し直されます。推論はFP32で実行され、アップストリームのデフォルトと同じく常に3回の補正ステップを適用します。順伝播1回あたり1枚の画像を処理し、バッチをまとめる経路はありません。

CPU、CUDA、MPSのいずれも、コンパイル済みの拡張なしで動作します。補正器のメモリは入力解像度ではなくimgszに応じて増えます。

バリアント

重みファイルバックボーンタスク
LibreMoGe3l-depth.ptDINOv2 ViT-L/14深度、点群マップ、内部パラメータ、マスク
LibreMoGe3l-normal.ptDINOv2 ViT-L/14法線
LibreMoGe3g-depth.ptDINOv2 ViT-g/14深度、点群マップ、内部パラメータ、マスク
LibreMoGe3g-normal.ptDINOv2 ViT-g/14法線

同じサイズの-depthと-normalのファイルは同じテンソルを保持し、接尾辞でタスクが決まります。RTX 3090上のFP32でアップストリームと比べると、順伝播1回のグラフはビット単位で一致し、補正後の深度は浮動小数点の丸め誤差の範囲で一致します(相対差のp99はlで4.7e-6、gで3.7e-5)。

MoGe-3はLibreYOLOでは学習できず、train()は例外を発生させます。ゼロショットのval()は共有の深度と法線のバリデーターを実行します。

エクスポート

タスクONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
DepthDepth to ONNX:非対応Depth to TorchScript:非対応Depth to ExecuTorch:非対応Depth to TensorRT:非対応Depth to OpenVINO:非対応Depth to Paddle:非対応Depth to MNN:非対応Depth to RKNN:非対応Depth to Axelera:非対応Depth to ncnn:非対応Depth to TFLite:非対応Depth to CoreML:非対応Depth to Core AI:非対応
Surface normalsSurface normals to ONNX:対応Surface normals to TorchScript:対応Surface normals to ExecuTorch:非対応Surface normals to TensorRT:非対応Surface normals to OpenVINO:非対応Surface normals to Paddle:非対応Surface normals to MNN:非対応Surface normals to RKNN:非対応Surface normals to Axelera:非対応Surface normals to ncnn:非対応Surface normals to TFLite:非対応Surface normals to CoreML:非対応Surface normals to Core AI:非対応

エクスポートできるのは法線のグラフのみで、固定の正方形キャンバスでONNXとTorchScriptに出力します。深度のエクスポートはできません。補正器はデータに依存するボクセル集合を構築し、カメラの復元はCPUでの求解だからです。

Python
from libreyolo import LibreYOLO # エクスポートできるのは法線のグラフのみ、深度のエクスポートは不可model = LibreYOLO("LibreMoGe3l-normal.pt")model.export(format="onnx")model.export(format="torchscript")

チェックポイント

ファイル入力(px)重みのライセンス
Depth
LibreMoGe3l-depth.ptmit
LibreMoGe3g-depth.ptmit
Surface normals
LibreMoGe3l-normal.pt840mit
LibreMoGe3g-normal.pt840mit

上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
MoGe-3, Microsoft
アップストリームのライセンス
MIT
アップストリームのソース
github.com/microsoft/MoGe
LibreYOLOのコード
MIT
重み
MIT、huggingface.co/LibreYOLOで再公開
解釈
MIT is a permissive license, so the MoGe-3 code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO ports the forward pass, sparse refinement and camera recovery from microsoft/MoGe at commit 74fbce054ebed49800de42d0ad0e83495065719a (MIT, Copyright Microsoft Corporation), re-expresses the FlexGEMM sparse kernels in plain PyTorch without vendoring them (FlexGEMM is MIT), and follows MIT utils3d helpers; the DINOv2 backbone keeps its separate Apache-2.0 attribution (libreyolo/models/moge3/NOTICE). The official checkpoints Ruicheng/moge-3-vitl (revision 184008f877d7ad1ad4c2cd2182a9bd1f63d0e5be) and Ruicheng/moge-3-vitg (revision 6ef26c5a4b4148dab5ccaacdb08b72dc66380475) declare MIT; LibreYOLO mirrors them unchanged, plus checkpoint metadata, as LibreYOLO/LibreMoGe3{l,g}-{depth,normal}, not gated.

MoGe-3はMicrosoftによるものです(microsoft/MoGe)。コードと重みはMITのため、商用利用が可能です。DINOv2バックボーンはApache-2.0の帰属表示を維持します。LibreYOLOは公式のRuicheng/moge-3-vitlとRuicheng/moge-3-vitgのチェックポイントを、変更なしでLibreYOLO/LibreMoGe3{l,g}-{depth,normal}としてミラーしており、ゲートされていません。

引用

@misc{kong2026finedetailmonoculargeometryestimation,
      title={Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement},
      author={Lingyu Kong and Ruicheng Li and Ruicheng Wang and Sicheng Xu and Chengtang Yao and Jianfeng Xiang and Jiaolong Yang},
      year={2026},
      eprint={2607.17967},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2607.17967},
}

著者によるgithub.com/microsoft/MoGe#-citationの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。