LGM
LGM(Large Multi-View Gaussian Model)は、物体の写真1枚を2つのステージで3Dガウシアンに変換します。ImageDreamが物体の周囲の4つのビューをサンプリングし、LGMがそれらを読み取ってガウシアンを返します。LibreYOLOはLibreGenファクトリーを通じて、両方のステージを純粋なPyTorchで実行します。
- タスク
- 3d generation
- インストール
pip install "libreyolo[gen]"- サポートティア
- 姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
- ライセンス
- コード:MIT and Apache-2.0、重み:MIT and CreativeML OpenRAIL++-M。商用利用
インストール
pip install "libreyolo[gen]"このextraにはdiffusersとtransformersが含まれ、ImageDreamのVAE、スケジューラー、CLIPエンコーダーを読み込みます。
推論
アクセス制限はなく、ログインも不要です。重みは初回使用時に、固定されたリビジョンでダウンロードされます。
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("lgm") # 初回使用時に重みをダウンロードresult = model(SAMPLE_IMAGE, seed=0) result.save("object.ply") # 標準の 3DGS レイアウトprint(len(result.gaussians)) # 不透明度 0.005 を超えるもの# runs/generate/predict に物体を .ply として保存libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=lgm seed=0from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("lgm")result = model(SAMPLE_IMAGE, elevation=-10) # 上から撮影した写真result = model(SAMPLE_IMAGE, steps=20, guidance=1.0) # ガイダンスなしStable Diffusion 2.1からファインチューニングされたマルチビュー拡散モデルであるImageDreamが、256 pxの入力から物体の周囲の4つのビューをサンプリングします。クロスビューアテンションを持つ非対称UNetであるLGMが、4つのビューをカメラレイとともに読み取り、各ビューの出力ピクセルごとに1つのガウシアンを返します。4 x 128 x 128 = 65,536個のガウシアンのうち、アップストリームの保存方法と同じく、不透明度0.005を超えるものが残されます。
アップストリームはCUDA上のxformersを必要とし、非商用のラスタライザーでレンダリングします。LibreYOLOはアテンションをPyTorchのSDPAで実行し、レンダリングは行わないため、モデルはNVIDIA GPU、Apple silicon、CPU上で動作し、GPUではfp16、CPUではfp32を使います。CUDAではシードがアップストリームの物体を再現します。他のデバイスでは同じシードでも別のノイズが生成されます。
出力はresult.gaussiansで、Speridlabs Idolと同じペイロードであり、.plyまたは.splatとして保存されます。
設定
| 設定 | デフォルト | 意味 |
|---|---|---|
steps | 30 | ImageDreamのDDIMサンプリングステップ数。 |
guidance | 5.0 | classifier-free guidance。1で無効。 |
elevation | 0 | 写真のカメラの高さ(度)。負の値は物体の上方。 |
バリアント
サイズは0.4bの1つです。0.42BのLGMネットワーク(約0.8 GB)に加え、1.3BのImageDreamマルチビューステージとその2つのCLIPエンコーダー(約4.0 GB)で構成されます。
エクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 3D generation | 3D generation to ONNX:非対応 | 3D generation to TorchScript:非対応 | 3D generation to ExecuTorch:非対応 | 3D generation to TensorRT:非対応 | 3D generation to OpenVINO:非対応 | 3D generation to Paddle:非対応 | 3D generation to MNN:非対応 | 3D generation to RKNN:非対応 | 3D generation to Axelera:非対応 | 3D generation to ncnn:非対応 | 3D generation to TFLite:非対応 | 3D generation to CoreML:非対応 | 3D generation to Core AI:非対応 |
LibreGenの3Dファミリーではエクスポートは実装されていません。export()、train()、val()はNotImplementedErrorを発生させます(ライブラリ内のADR 0031)。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- LGM, 3D Topia
- アップストリームのライセンス
- MIT and CreativeML OpenRAIL++-M
- アップストリームのソース
- github.com/3DTopia/LGM
- LibreYOLOのコード
- MIT
- 重み
- MIT and CreativeML OpenRAIL++-M、huggingface.co/LibreYOLOで再公開
- 解釈
- LGM runs in two stages with different licenses. The LGM Gaussian model and its code are MIT, a permissive license that allows commercial and closed-source use with the copyright notice kept. The first stage, the ImageDream multi-view diffusion model (fine-tuned from MVDream and Stable Diffusion 2.1), is declared openrail upstream and LibreYOLO carries the CreativeML OpenRAIL++-M License of its Stable Diffusion 2.1 lineage: commercial use is allowed, but its use-based restrictions (no illegal, harmful, discriminatory or deceptive uses, among others) bind you and must be passed on to anyone you share the model or derivatives with. LibreYOLO's adapter is MIT; the code it adapts from LGM is MIT, with parts following ImageDream, the DINOv2 attention module and kiuikit under Apache-2.0, noted in libreyolo/models/gen/lgm/NOTICE. LibreYOLO leaves out upstream's renderer, which needs Inria's non-commercial Gaussian Splatting rasterizer. Weights are redistributed unchanged at pinned revisions: ashawkey/LGM with the BiRefNet weights (MIT) as LibreYOLO/LibreLGM0.4b, and ashawkey/imagedream-ipmv-diffusers as LibreYOLO/LibreImageDream; neither is gated.
LGMは3D TopiaのJiaxiang Tangらによるものです(3DTopia/LGM)。2つのステージには異なるライセンスが適用されます。
- LGMのガウシアンモデルとそのコードはMITです。
- ImageDreamには利用制限があります。 アップストリームではOpenRAILと宣言されており、LibreYOLOはそのStable Diffusion 2.1の系譜のCreativeML OpenRAIL++-M Licenseを適用します。商用利用は許可されていますが、その利用に基づく制限(違法、有害、差別的、欺瞞的な利用の禁止など)が利用者を拘束し、モデルや派生物とともに引き継ぐ必要があります。
重みは固定されたリビジョンで変更なしに再配布されています。ashawkey/LGMはBiRefNet(MIT)とともにLibreYOLO/LibreLGM0.4bとして、ashawkey/imagedream-ipmv-diffusersはLibreYOLO/LibreImageDreamとして再配布されています。どちらもアクセス制限はありません。Inriaの非商用ラスタライザーを必要とするアップストリームのレンダラーは含まれていません。
引用
@article{tang2024lgm,
title={LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation},
author={Tang, Jiaxiang and Chen, Zhaoxi and Chen, Xiaokang and Wang, Tengfei and Zeng, Gang and Liu, Ziwei},
journal={arXiv preprint arXiv:2402.05054},
year={2024}
}著者によるgithub.com/3DTopia/LGM#citationの引用ブロックからコピーしています。