MoGe-2

Установка

MoGe-2 не требует установки дополнительных extra-пакетов. Всё, что он импортирует, входит в базовую установку.

pip install libreyolo

Предсказание

Веса скачиваются автоматически при первом запуске: LibreYOLO берёт нужный размер напрямую из официальных чекпойнтов и кэширует его локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe2s-normal.pt")result = model(SAMPLE_IMAGE, save=True) normal = result.normal_mapprint(normal.array.shape)   # (H, W, 3) float32, единичные векторы

libreyolo predict model=LibreMoGe2s-normal.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

MoGe-2 возвращает плотное поле, а не набор детекций, поэтому result.boxes пуст, а conf, iou и max_det ни на что не влияют. Результат лежит в result.normal_map: массив (H, W, 3) из единичных векторов в системе координат камеры OpenCV, где +x — вправо, +y — вниз, +z — вглубь сцены, а обращённая к камере поверхность даёт (0, 0, -1). Предсказание по списку изображений выполняет по одному прямому проходу на изображение; быстрого пути со сборкой батча у этого семейства нет. Об источниках, стриминге и обработке результатов — в разделе предсказание.

Варианты

Три размера энкодера поставляются отдельными чекпойнтами: ViT-S, ViT-B и ViT-L, все с одним и тем же входным разрешением. Бенчмарк-стенд LibreYOLO это семейство не измерял, поэтому опубликованных чисел по точности, по которым их можно было бы сравнить, нет; выбирайте размер под свой бюджет вычислений.

Валидация

val() измеряет угловую ошибку на парном датасете карт нормалей: изображения рядом с 16-битными PNG нормалей с тем же именем файла и необязательная маска валидности, чтобы пиксели заполнения и некорректные пиксели никогда не учитывались. Возвращаются средняя и медианная угловая ошибка в градусах, а также процент пикселей, попавших в 11.25, 22.5 и 30 градусов.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMoGe2s-normal.pt")metrics = model.val(data="my-dataset.yaml", imgsz=518) print(metrics["metrics/mean_angular_error"])   # градусыprint(metrics["metrics/median_angular_error"])print(metrics["metrics/within_11_25"])          # процент пикселей

libreyolo val model=LibreMoGe2s-normal.pt data=my-dataset.yaml imgsz=518

Экспорт

Экспорт нормалей работает по контракту среды выполнения с фиксированным разрешением и батчем 1: dynamic и batch, отличный от 1, отклоняются, а imgsz должен нацело делиться на размер патча ViT-энкодера — LibreYOLO проверяет это до старта запуска. Экспортированный артефакт загружается обратно через LibreYOLO() по суффиксу файла, поэтому файл .onnx ведёт себя как чекпойнт и возвращает тот же Results.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMoGe2s-normal.pt")model.export(format="onnx", imgsz=518)model.export(format="tensorrt", imgsz=518, half=True)

libreyolo export model=LibreMoGe2s-normal.pt format=onnx imgsz=518libreyolo export model=LibreMoGe2s-normal.pt format=tensorrt imgsz=518 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMoGe2s-normal.onnx")result = model(SAMPLE_IMAGE) print(result.normal_map.array.shape)

Лицензирование

Цитирование

@inproceedings{wang2025moge,
  title={Moge: Unlocking accurate monocular geometry estimation for open-domain images with optimal training supervision},
  author={Wang, Ruicheng and Xu, Sicheng and Dai, Cassie and Xiang, Jianfeng and Deng, Yu and Tong, Xin and Yang, Jiaolong},
  booktitle={Proceedings of the Computer Vision and Pattern Recognition Conference},
  pages={5261--5271},
  year={2025}
}

@misc{wang2025moge2,
      title={MoGe-2: Accurate Monocular Geometry with Metric Scale and Sharp Details}, 
      author={Ruicheng Wang and Sicheng Xu and Yue Dong and Yu Deng and Jianfeng Xiang and Zelong Lv and Guangzhong Sun and Xin Tong and Jiaolong Yang},
      year={2025},
      eprint={2507.02546},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2507.02546}, 
}