TripoSR

TripoSRはTripo AIとStability AIによるフィードフォワード型の画像から3Dを生成するモデルです。物体の写真1枚を1回のパスでトライプレーンNeRFに変換し、物体を頂点カラー付きの三角形メッシュとして返します。LibreYOLOはLibreGenファクトリーを通じて、純粋なPyTorchでこれを実行します。

タスク
3d generation
インストール
pip install "libreyolo[gen]"
サポートティア
姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
アップストリーム
Tripo AI and Stability AIのTripoSR、MIT。論文、ソース
ライセンス
コード:MIT and Apache-2.0、重み:MIT。商用利用

インストール

TripoSRはLibreGenのextraで動作し、このextraにはマーチングキューブ用のscikit-imageが含まれます。

bash
pip install "libreyolo[gen]"

推論

重みは初回使用時にLibreYOLO/LibreTripoSRからダウンロードされ、アクセス制限もログインもありません。

Python
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("triposr")        # 初回使用時に重みをダウンロードresult = model(SAMPLE_IMAGE) result.save("object.obj")          # 頂点カラーは `v x y z r g b` 形式m = result.meshesprint(m.vertices[0].shape, m.faces[0].shape)   # (V, 3), (F, 3)
CLI
# runs/generate/predict に物体を .obj として保存libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=triposr
設定
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("triposr")result = model(SAMPLE_IMAGE, resolution=384)    # より細かいマーチングキューブのグリッドresult = model(SAMPLE_IMAGE, threshold=25.0)    # 表面での密度

DINO ViT-B/16が512 pxの入力をエンコードし、トランスフォーマーがそこからトライプレーンNeRFを1回のパスでデコードし、メッシュはNeRFの密度のマーチングキューブ等値面になります。サンプリングがないため、seedは他のLibreGenファミリーと同様に受け付けますが、何も変わりません。GPUでは約1秒で、NVIDIA GPU、Apple silicon、CPU上でfp32で動作します。

ソースには、predictが受け付けるものなら何でも使えます:パス、URL、PIL画像、NumPy配列、フォルダー、リストです。実際の透明度を持つ画像はそのまま切り抜きとして使われます。それ以外は、まずLibreYOLOのBiRefNetの移植版で背景が除去されます。

result.meshesは物体ごとに1つのメッシュを保持します:z-upで[-0.5, 0.5]^3の内側にあるvertices(V, 3)、faces(F, 3)、[0, 1]のRGBであるextras["vertex_colors"](V, 3)です。入力ビューは-x方向を向いているため、物体の正面は+xを向きます。save()は頂点カラー付きの.objを出力します。

設定

設定デフォルト意味
resolution256マーチングキューブのグリッド。32〜1024。
threshold25.0表面での密度。
margin1/0.85物体サイズに対する切り抜きの辺の比率(アップストリームの前景比率0.85)。

マーチングキューブはアップストリームのtorchmcubesではなくscikit-imageで実行されます。等値面は同じで、三角形分割が異なります。

バリアント

チェックポイントは1つで、0.42Bパラメータ、約1.7 GBで、BiRefNetにさらに0.4 GBが必要です。

エクスポート

タスクONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
3D generation3D generation to ONNX:非対応3D generation to TorchScript:非対応3D generation to ExecuTorch:非対応3D generation to TensorRT:非対応3D generation to OpenVINO:非対応3D generation to Paddle:非対応3D generation to MNN:非対応3D generation to RKNN:非対応3D generation to Axelera:非対応3D generation to ncnn:非対応3D generation to TFLite:非対応3D generation to CoreML:非対応3D generation to Core AI:非対応

LibreGenの3Dファミリーではエクスポートは実装されていません。export()、train()、val()はNotImplementedErrorを発生させます。これらの名前はライブラリ内のADR 0031で予約されています。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
TripoSR, Tripo AI and Stability AI
アップストリームのライセンス
MIT
アップストリームのソース
github.com/VAST-AI-Research/TripoSR
LibreYOLOのコード
MIT
重み
MIT、huggingface.co/LibreYOLOで再公開
解釈
MIT is a permissive license, so the code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO's adapter is MIT; the triplane, NeRF and mesh-extraction code it adapts from TripoSR keeps MIT, and the transformer and DINO ViT encoder follow HuggingFace diffusers and transformers code under Apache-2.0, with their notices in libreyolo/models/gen/triposr/NOTICE. LibreYOLO avoids upstream's torchmcubes (MPL-2.0) by running marching cubes through scikit-image (BSD-3-Clause). The stabilityai/TripoSR weights (MIT) are redistributed unchanged as LibreYOLO/LibreTripoSR; Background removal runs on LibreYOLO's BiRefNet port with the ZhengPeng7/BiRefNet weights (MIT), from LibreYOLO/LibreTRELLISl. Both are pinned and not gated.

TripoSRはTripo AIとStability AIによるものです。コード(VAST-AI-Research/TripoSR)とstabilityai/TripoSRの重みはMITであるため、著作権表示を残せば商用利用できます。LibreYOLOは重みを変更なしでLibreYOLO/LibreTripoSRとして再配布しています。アップストリームのtorchmcubes(MPL-2.0)を避けてscikit-image(BSD-3-Clause)を使っています。BiRefNetの背景除去の重みはMITです。

引用

@article{TripoSR2024,
  title={TripoSR: Fast 3D Object Reconstruction from a Single Image},
  author={Tochilkin, Dmitry and Pankratz, David and Liu, Zexiang and Huang, Zixuan and and Letts, Adam and Li, Yangguang and Liang, Ding and Laforte, Christian and Jampani, Varun and Cao, Yan-Pei},
  journal={arXiv preprint arXiv:2403.02151},
  year={2024}
}

著者によるgithub.com/VAST-AI-Research/TripoSR#citationの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。