CRM
CRM(Convolutional Reconstruction Model)は清華大学の画像から3Dを生成するモデルです。2つのマルチビュー拡散モデルが物体の6つのビューとその座標マップを生成し、畳み込みUNetがそれらをトライプレーンに変換し、FlexiCubesが色付きメッシュを抽出します。LibreYOLOはLibreGenファクトリーを通じて、純粋なPyTorchでこれを実行します。
- タスク
- 3d generation
- インストール
pip install "libreyolo[gen]"- サポートティア
- 姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
- ライセンス
- コード:MIT and Apache-2.0、重み:CreativeML OpenRAIL++-M。商用利用
インストール
pip install "libreyolo[gen]"texture=Trueには、UV展開のためにMITライセンスのxatlasパッケージ(pip install xatlas)も必要です。
推論
アクセス制限はなく、ログインも不要です。重みは初回使用時に、固定されたリビジョンでLibreYOLO/LibreCRMからダウンロードされます。
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("crm") # 初回使用時に重みをダウンロードresult = model(SAMPLE_IMAGE, seed=0) result.save("object.obj") # 頂点カラーは `v x y z r g b` 形式m = result.meshesprint(m.vertices[0].shape, m.extras["vertex_colors"][0].shape)# runs/generate/predict に物体を .obj として保存libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=crm seed=0libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=crm texture=true# pip install xatlas (MIT ライセンス UV 展開用)from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("crm")model(SAMPLE_IMAGE, texture=True).save("object.obj")# object.obj と object.mtl と object_texture.png を出力2つのマルチビュー拡散モデルが物体の6つの正射影ビューを生成し、続いてその正準座標マップを生成します。畳み込みUNetがそれらをトライプレーンに変換し、FlexiCubesがトライプレーンで色付けされたメッシュを抽出します。アップストリームはxformers、nvdiffrast(NVIDIA、非商用)、GPLのメッシュライブラリを必要とします。LibreYOLOは同じ重みを純粋なPyTorchで、NVIDIA GPU、Apple silicon、CPU上で実行し、GPUではアップストリームと同じくfp16を使います。
入力は切り抜きなしで灰色の背景に正方形へパディングされるため、写真は物体がフレームいっぱいに写っているときに最もよく機能します。シードはどのデバイスでも同じ初期ノイズを与えます。CUDAでは同じ呼び出しを繰り返すと同じビューと三角形が得られ、頂点は1e-7程度ずれることがあります。ライブラリの計測では、RTX 3090で1物体あたり約12秒、12 GBでした。
result.meshesは、z-upで[-0.5, 0.5]^3の範囲にあるvertices(V, 3)、faces(F, 3)、[0, 1]のRGBであるextras["vertex_colors"](V, 3)を保持します。texture=Trueはアップストリームと同じく1024 x 1024のUVテクスチャをベイクします。
設定
| 設定 | デフォルト | 意味 |
|---|---|---|
steps | 50 | 両方の拡散ステージのサンプリングステップ数。1〜499。 |
guidance | 5.0 | 両ステージのclassifier-free guidance。 |
texture | False | UVテクスチャをベイク(.objの横に.mtlと.png)。 |
バリアント
チェックポイントは1つで、パラメータは4.1Bです。2.0Bのマルチビュー拡散モデル2つ(それぞれUNet、OpenCLIP ViT-H/14、SD VAE)と0.12Bの再構成UNetで構成されます。約12.8 GBで、BiRefNetにさらに0.4 GBが必要です。
エクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 3D generation | 3D generation to ONNX:非対応 | 3D generation to TorchScript:非対応 | 3D generation to ExecuTorch:非対応 | 3D generation to TensorRT:非対応 | 3D generation to OpenVINO:非対応 | 3D generation to Paddle:非対応 | 3D generation to MNN:非対応 | 3D generation to RKNN:非対応 | 3D generation to Axelera:非対応 | 3D generation to ncnn:非対応 | 3D generation to TFLite:非対応 | 3D generation to CoreML:非対応 | 3D generation to Core AI:非対応 |
LibreGenの3Dファミリーではエクスポートは実装されていません。export()、train()、val()はNotImplementedErrorを発生させます(ライブラリ内のADR 0031)。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- CRM, Tsinghua University (TSAIL)
- アップストリームのライセンス
- CreativeML OpenRAIL++-M
- アップストリームのソース
- github.com/thu-ml/CRM
- LibreYOLOのコード
- MIT
- 重み
- CreativeML OpenRAIL++-M、huggingface.co/LibreYOLOで再公開
- 解釈
- The CRM code is MIT and its model card declares MIT for the weights, but CRM's two diffusion models are fine-tuned from ImageDream and MVDream, themselves from Stable Diffusion 2.1, so LibreYOLO treats the weights as under the CreativeML OpenRAIL++-M License of that lineage. OpenRAIL++-M allows commercial use, but its use-based restrictions (no illegal, harmful, discriminatory or deceptive uses, among others) bind you and must be passed on to anyone you share the model or derivatives with. LibreYOLO's adapter is MIT; the code it adapts from CRM is MIT, the FlexiCubes meshing comes from NVIDIA's Apache-2.0 release, and ImageDream parts are Apache-2.0, noted in libreyolo/models/gen/crm/NOTICE. CRM's own FlexiCubes copies with NVIDIA's all-rights-reserved header, nvdiffrast (non-commercial) and the GPL-3.0 mesh tools upstream calls are not used. The Zhengyi/CRM weights are redistributed unchanged as LibreYOLO/LibreCRM, whose card carries the OpenRAIL++-M terms; Background removal runs on LibreYOLO's BiRefNet port with the ZhengPeng7/BiRefNet weights (MIT), from LibreYOLO/LibreTRELLISl. Both are pinned and not gated.
CRMは清華大学(TSAIL)によるものです(thu-ml/CRM)。コードはMITで、モデルカードは重みについてもMITと宣言しています。
重みには利用制限があります。 CRMの2つの拡散モデルはImageDream、MVDream、Stable Diffusion 2.1の系譜にあるため、LibreYOLOはそれらをその系譜のCreativeML OpenRAIL++-M Licenseの下にあるものとして扱います。商用利用は許可されていますが、その利用に基づく制限(違法、有害、差別的、欺瞞的な利用の禁止など)が利用者を拘束し、モデルや派生物を共有する相手にも引き継ぐ必要があります。
Zhengyi/CRMの重みは変更なしでLibreYOLO/LibreCRMとして再配布されており、そのカードにはOpenRAIL++-Mの条項が記載されています。FlexiCubesはNVIDIAのApache-2.0のリリースに由来します。アップストリームが呼び出すnvdiffrastとGPL-3.0のメッシュツールは使用しません。
引用
@article{wang2024crm,
title={CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model},
author={Zhengyi Wang and Yikai Wang and Yifei Chen and Chendong Xiang and Shuo Chen and Dajiang Yu and Chongxuan Li and Hang Su and Jun Zhu},
journal={arXiv preprint arXiv:2403.05034},
year={2024}
}著者によるgithub.com/thu-ml/CRM#citationの引用ブロックからコピーしています。