Markdownで表示

InstantHMR

InstantHMRは、NaturalpadとLAAS-CNRSによるリアルタイムの人体メッシュ復元モデルです。人物のボックスごとに、MHRの身体姿勢と体型のパラメータ、2Dと3Dの70個のキーポイント、カメラの並進、18,439頂点のメッシュを返します。LibreYOLOはこれをPyTorchでネイティブに移植し、RF-DETRで人物を検出します。

タスク
body mesh
インストール
pip install libreyolo
サポートティア
サポート対象、v1.8.0以降。補助的な学習可能モデル:CIで正常な状態を維持し、機能は機会に応じて追加されます。
アップストリーム
Naturalpad and LAAS-CNRSのInstantHMR、CC-BY-NC-4.0 (n, t, s, m checkpoints); Apache-2.0 (m commercial checkpoint)。論文、ソース
ライセンス
コード:Apache-2.0、重み:CC-BY-NC-4.0 (n, t, s, m); Apache-2.0 (m-commercial)。商用利用

インストール

InstantHMRにオプションのextraは不要です。デフォルトの人物検出器LibreRFDETRm.ptにはRF-DETRのextraが必要です。

bash
pip install "libreyolo[rfdetr]"

推論

重みは初回使用時に、ライセンスの通知のあとでLibreYOLOのHugging Faceミラーからダウンロードされます。

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreInstantHMRm-mesh.pt")   # 人物はLibreRFDETRm.ptで検出result = model("people.jpg") meshes = result.meshes            # result.boxesのボックスごとに1行print(meshes.body_model)          # "mhr"print(meshes.vertices.shape)      # (人数, 18439, 3)、メートル、カメラ座標系print(meshes.joints2d.shape)      # (人数, 70, 2)、ピクセル
独自のボックス
from libreyolo import LibreYOLO model = LibreYOLO("LibreInstantHMRm-mesh-commercial.pt")boxes = [[40, 20, 260, 600]]      # 人物ごとにx1, y1, x2, y2result = model("people.jpg", person_boxes=boxes)

人物はRF-DETR検出器(デフォルトはLibreRFDETRm.pt)で検出されます。独自のボックスを使うにはperson_boxes=を、検出器を差し替えるにはperson_detector=を渡してください。result.meshesの行はresult.boxesと対応します。すべて元画像のカメラ座標系です。translはメートル単位、verticesとjoints3dはメートル単位でtranslを含み、joints2dは元画像上のピクセル単位です。global_orient、body_pose、betasはMHRのパラメータを保持し、MHRの回転はラジアン単位のオイラー角です。ペイロードの全体については人体メッシュのタスクページを参照してください。

バリアント

サイズはn、t、s、mの4つで、いずれも人物のクロップは288 pxです。さらに、商用利用可能な画像のみで学習したmであるLibreInstantHMRm-mesh-commercial.ptがあります。アップストリームはONNXのみを公開しています。LibreYOLOはPyTorchのチェックポイントを再構築しており、5つのリリースすべてでアップストリームのONNXグラフと8e-5以内で一致します。

学習

train()は、COCO-17の人物キーポイントを持つYOLO-pose形式のデータセットで、2Dキーポイント、再投影、固定事前分布の損失を使って学習済みチェックポイントをファインチューニングします。ゼロからの学習とresumeには対応していません。val()は例外を発生させます。一般的な人体メッシュのベンチマーク(3DPW、EMDB)は研究用ライセンスのみのため、同梱していません。MPJPE、PA-MPJPE、PVEの指標は、手元のデータセット向けにlibreyolo.validation.mesh_metricsにあります。

Python
from libreyolo import LibreYOLO # YOLO-pose形式のCOCO-17データセットで学習済みチェックポイントをファインチューニングmodel = LibreYOLO("LibreInstantHMRs-mesh.pt")model.train(data="my-pose-dataset.yaml", epochs=20)

エクスポート

タスクONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
Body meshBody mesh to ONNX:対応Body mesh to TorchScript:非対応Body mesh to ExecuTorch:非対応Body mesh to TensorRT:非対応Body mesh to OpenVINO:非対応Body mesh to Paddle:非対応Body mesh to MNN:非対応Body mesh to RKNN:非対応Body mesh to Axelera:非対応Body mesh to ncnn:非対応Body mesh to TFLite:非対応Body mesh to CoreML:非対応Body mesh to Core AI:非対応

export(format="onnx")は、imageとcliff_condを入力とし、メッシュの面をメタデータに持つグラフを書き出します。

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreInstantHMRm-mesh.pt")model.export(format="onnx")   # 入力はimage、cliff_cond、面はメタデータに格納

チェックポイント

ファイル重みのライセンス
Body mesh
LibreInstantHMRn-mesh.ptcc-by-nc-4.0
LibreInstantHMRt-mesh.ptcc-by-nc-4.0
LibreInstantHMRs-mesh.ptcc-by-nc-4.0
LibreInstantHMRm-mesh.ptcc-by-nc-4.0
LibreInstantHMRm-mesh-commercial.ptapache-2.0

上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
InstantHMR, Naturalpad and LAAS-CNRS
アップストリームのライセンス
CC-BY-NC-4.0 (n, t, s, m checkpoints); Apache-2.0 (m commercial checkpoint)
アップストリームのソース
github.com/Naturalpad-studio/InstantHMR
LibreYOLOのコード
MIT
重み
CC-BY-NC-4.0 (n, t, s, m); Apache-2.0 (m-commercial)、huggingface.co/LibreYOLOで再公開
解釈
The licence depends on the checkpoint. The n, t, s and m weights are CC BY-NC 4.0: attribution is required and commercial use is not allowed, because part of their training images (SA-1B, AI Challenger) are non-commercial. LibreInstantHMRm-mesh-commercial was trained on Harmony4D and commercially licensed COCO images only and is Apache-2.0, which allows commercial and closed-source use if you keep the license text and notices. Every checkpoint was also trained on the SAM 3D Body dataset annotations, released by Meta under the SAM License, whose terms pass through with the weights, and they embed the MHR body constants (Apache-2.0). The upstream code is Apache-2.0 (Naturalpad-studio/InstantHMR at commit 5437400d4b25c1972821e51916fac34bd96acce6; LICENSE and NOTICE in libreyolo/models/instanthmr); the mesh decode was written clean-room so that no SAM-licensed sam-3d-body code is used, and the fine-tuning trainer is original LibreYOLO MIT code. Upstream publishes ONNX only (momolesang/InstantHMR, revision 07988f51c8c8908cfc7bb44fc18f645c9551b0bf); LibreYOLO converts them to PyTorch and mirrors them as LibreYOLO/LibreInstantHMR{n,t,s,m}-mesh and -m-mesh-commercial, not gated, and prints a notice before auto-download.

InstantHMRはNaturalpadとLAAS-CNRSによるものです(Naturalpad-studio/InstantHMR)。コードはApache-2.0です。重みのライセンスはチェックポイントによって異なります。

  • n、t、s、m:CC BY-NC 4.0、非商用のみです。学習画像の一部(SA-1B、AI Challenger)が非商用であるためです。
  • m-commercial:Apache-2.0で、Harmony4Dと商用ライセンスのCOCO画像のみで学習しています。

すべてのチェックポイントは、MetaがSAM Licenseの下で公開したSAM 3D Bodyデータセットのアノテーションでも学習されており、その条件は重みにも引き継がれます。メッシュのデコードはクリーンルームで実装したため、SAMライセンスのsam-3d-bodyのコードは使っていません。チェックポイントはLibreYOLO/LibreInstantHMR{n,t,s,m}-meshとLibreYOLO/LibreInstantHMRm-mesh-commercialとしてミラーしており、ゲートされていません。

引用

@misc{adjel2026instanthmr,
  title        = {InstantHMR: Real-Time Human Mesh Recovery on Your Phone},
  author       = {Adjel, Mohamed and Chalabi, Kahina and Bonnet, Vincent},
  year         = {2026},
  howpublished = {HAL preprint hal-05854387},
  url          = {https://hal.science/hal-05854387},
  note         = {LAAS report no. 26486}
}

著者によるgithub.com/Naturalpad-studio/InstantHMR#citationの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。