TripoSR
TripoSRはTripo AIとStability AIによるフィードフォワード型の画像から3Dを生成するモデルです。物体の写真1枚を1回のパスでトライプレーンNeRFに変換し、物体を頂点カラー付きの三角形メッシュとして返します。LibreYOLOはLibreGenファクトリーを通じて、純粋なPyTorchでこれを実行します。
- タスク
- 3d generation
- インストール
pip install "libreyolo[gen]"- サポートティア
- 姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
- ライセンス
- コード:MIT and Apache-2.0、重み:MIT。商用利用
インストール
TripoSRはLibreGenのextraで動作し、このextraにはマーチングキューブ用のscikit-imageが含まれます。
pip install "libreyolo[gen]"推論
重みは初回使用時にLibreYOLO/LibreTripoSRからダウンロードされ、アクセス制限もログインもありません。
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("triposr") # 初回使用時に重みをダウンロードresult = model(SAMPLE_IMAGE) result.save("object.obj") # 頂点カラーは `v x y z r g b` 形式m = result.meshesprint(m.vertices[0].shape, m.faces[0].shape) # (V, 3), (F, 3)# runs/generate/predict に物体を .obj として保存libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=triposrfrom libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("triposr")result = model(SAMPLE_IMAGE, resolution=384) # より細かいマーチングキューブのグリッドresult = model(SAMPLE_IMAGE, threshold=25.0) # 表面での密度DINO ViT-B/16が512 pxの入力をエンコードし、トランスフォーマーがそこからトライプレーンNeRFを1回のパスでデコードし、メッシュはNeRFの密度のマーチングキューブ等値面になります。サンプリングがないため、seedは他のLibreGenファミリーと同様に受け付けますが、何も変わりません。GPUでは約1秒で、NVIDIA GPU、Apple silicon、CPU上でfp32で動作します。
ソースには、predictが受け付けるものなら何でも使えます:パス、URL、PIL画像、NumPy配列、フォルダー、リストです。実際の透明度を持つ画像はそのまま切り抜きとして使われます。それ以外は、まずLibreYOLOのBiRefNetの移植版で背景が除去されます。
result.meshesは物体ごとに1つのメッシュを保持します:z-upで[-0.5, 0.5]^3の内側にあるvertices(V, 3)、faces(F, 3)、[0, 1]のRGBであるextras["vertex_colors"](V, 3)です。入力ビューは-x方向を向いているため、物体の正面は+xを向きます。save()は頂点カラー付きの.objを出力します。
設定
| 設定 | デフォルト | 意味 |
|---|---|---|
resolution | 256 | マーチングキューブのグリッド。32〜1024。 |
threshold | 25.0 | 表面での密度。 |
margin | 1/0.85 | 物体サイズに対する切り抜きの辺の比率(アップストリームの前景比率0.85)。 |
マーチングキューブはアップストリームのtorchmcubesではなくscikit-imageで実行されます。等値面は同じで、三角形分割が異なります。
バリアント
チェックポイントは1つで、0.42Bパラメータ、約1.7 GBで、BiRefNetにさらに0.4 GBが必要です。
エクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 3D generation | 3D generation to ONNX:非対応 | 3D generation to TorchScript:非対応 | 3D generation to ExecuTorch:非対応 | 3D generation to TensorRT:非対応 | 3D generation to OpenVINO:非対応 | 3D generation to Paddle:非対応 | 3D generation to MNN:非対応 | 3D generation to RKNN:非対応 | 3D generation to Axelera:非対応 | 3D generation to ncnn:非対応 | 3D generation to TFLite:非対応 | 3D generation to CoreML:非対応 | 3D generation to Core AI:非対応 |
LibreGenの3Dファミリーではエクスポートは実装されていません。export()、train()、val()はNotImplementedErrorを発生させます。これらの名前はライブラリ内のADR 0031で予約されています。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- TripoSR, Tripo AI and Stability AI
- アップストリームのライセンス
- MIT
- アップストリームのソース
- github.com/VAST-AI-Research/TripoSR
- LibreYOLOのコード
- MIT
- 重み
- MIT、huggingface.co/LibreYOLOで再公開
- 解釈
- MIT is a permissive license, so the code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO's adapter is MIT; the triplane, NeRF and mesh-extraction code it adapts from TripoSR keeps MIT, and the transformer and DINO ViT encoder follow HuggingFace diffusers and transformers code under Apache-2.0, with their notices in libreyolo/models/gen/triposr/NOTICE. LibreYOLO avoids upstream's torchmcubes (MPL-2.0) by running marching cubes through scikit-image (BSD-3-Clause). The stabilityai/TripoSR weights (MIT) are redistributed unchanged as LibreYOLO/LibreTripoSR; Background removal runs on LibreYOLO's BiRefNet port with the ZhengPeng7/BiRefNet weights (MIT), from LibreYOLO/LibreTRELLISl. Both are pinned and not gated.
TripoSRはTripo AIとStability AIによるものです。コード(VAST-AI-Research/TripoSR)とstabilityai/TripoSRの重みはMITであるため、著作権表示を残せば商用利用できます。LibreYOLOは重みを変更なしでLibreYOLO/LibreTripoSRとして再配布しています。アップストリームのtorchmcubes(MPL-2.0)を避けてscikit-image(BSD-3-Clause)を使っています。BiRefNetの背景除去の重みはMITです。
引用
@article{TripoSR2024,
title={TripoSR: Fast 3D Object Reconstruction from a Single Image},
author={Tochilkin, Dmitry and Pankratz, David and Liu, Zexiang and Huang, Zixuan and and Letts, Adam and Li, Yangguang and Liang, Ding and Laforte, Christian and Jampani, Varun and Cao, Yan-Pei},
journal={arXiv preprint arXiv:2403.02151},
year={2024}
}著者によるgithub.com/VAST-AI-Research/TripoSR#citationの引用ブロックからコピーしています。