MoGe-2

Встановлення

MoGe-2 не потребує додаткових залежностей. Усе, що вона імпортує, входить до базового встановлення.

pip install libreyolo

Передбачення

Під час першого використання ваги завантажуються автоматично: LibreYOLO отримує відповідний розмір безпосередньо з офіційних контрольних точок і кешує його локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe2s-normal.pt")result = model(SAMPLE_IMAGE, save=True) normal = result.normal_mapprint(normal.array.shape)   # Одиничні вектори float32 (H, W, 3)

libreyolo predict model=LibreMoGe2s-normal.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

MoGe-2 повертає щільне поле, а не набір виявлень, тому result.boxes порожній, а conf, iou і max_det не впливають на результат. result.normal_map містить результат: масив одиничних векторів (H, W, 3) у системі координат камери OpenCV, де +x спрямовано праворуч, +y вниз, +z углиб сцени, а поверхня, повернута до камери, має значення (0, 0, -1). Передбачення для списку зображень виконує один прямий прохід на кожне зображення; це сімейство не має швидкого шляху зі складеним батчем. Типи джерел, потокове передбачення та обробку результатів описано в розділі передбачення.

Варіанти

Три розміри енкодера постачаються як окремі контрольні точки: ViT-S, ViT-B і ViT-L, усі з однаковою вхідною роздільною здатністю. Засоби бенчмарків LibreYOLO не вимірювали це сімейство, тому опублікованих показників правильності для їх порівняння немає. Вибирайте розмір відповідно до власного бюджету обчислень.

Валідація

val() вимірює кутову похибку на парному датасеті карт нормалей: зображення поруч із 16-бітними PNG нормалей з однаковою основою назви й необов'язковою маскою дійсності, щоб доповнені та недійсні пікселі ніколи не враховувалися. Метод повертає середню й медіанну кутову похибку в градусах, а також відсоток пікселів у межах 11.25, 22.5 і 30 градусів.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMoGe2s-normal.pt")metrics = model.val(data="my-dataset.yaml", imgsz=518) print(metrics["metrics/mean_angular_error"])   # Градусиprint(metrics["metrics/median_angular_error"])print(metrics["metrics/within_11_25"])          # Відсоток пікселів

libreyolo val model=LibreMoGe2s-normal.pt data=my-dataset.yaml imgsz=518

Експорт

Експорт нормалей використовує контракт середовища виконання з фіксованою роздільною здатністю та розміром батча 1: dynamic і batch зі значенням, відмінним від 1, відхиляються, а imgsz має ділитися на розмір патча енкодера ViT, що LibreYOLO перевіряє до початку запуску. Експортований артефакт знову завантажується через LibreYOLO() відповідно до суфікса файлу, тому файл .onnx поводиться як контрольна точка й повертає той самий об'єкт Results.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMoGe2s-normal.pt")model.export(format="onnx", imgsz=518)model.export(format="tensorrt", imgsz=518, half=True)

libreyolo export model=LibreMoGe2s-normal.pt format=onnx imgsz=518libreyolo export model=LibreMoGe2s-normal.pt format=tensorrt imgsz=518 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe2s-normal.onnx")result = model(SAMPLE_IMAGE) print(result.normal_map.array.shape)

Ліцензування

Цитування

@inproceedings{wang2025moge,
  title={Moge: Unlocking accurate monocular geometry estimation for open-domain images with optimal training supervision},
  author={Wang, Ruicheng and Xu, Sicheng and Dai, Cassie and Xiang, Jianfeng and Deng, Yu and Tong, Xin and Yang, Jiaolong},
  booktitle={Proceedings of the Computer Vision and Pattern Recognition Conference},
  pages={5261--5271},
  year={2025}
}

@misc{wang2025moge2,
      title={MoGe-2: Accurate Monocular Geometry with Metric Scale and Sharp Details}, 
      author={Ruicheng Wang and Sicheng Xu and Yue Dong and Yu Deng and Jianfeng Xiang and Zelong Lv and Guangzhong Sun and Xin Tong and Jiaolong Yang},
      year={2025},
      eprint={2507.02546},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2507.02546}, 
}