TRELLIS

TRELLISはMicrosoftのオープンな画像から3Dを生成するモデルです。まず物体を疎なボクセル構造として構築し、次に占有された各ボクセルに32個のガウシアンを割り当てます。アップストリームはCUDA専用の拡張を必要としますが、LibreYOLOはLibreGenファクトリーを通じて、同じ重みを純粋なPyTorchで実行します。

タスク
3d generation
サイズ
l at 518 px
インストール
pip install "libreyolo[gen]"
サポートティア
姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
アップストリーム
Microsoft ResearchのTRELLIS、MIT。論文、ソース
ライセンス
コード:MIT、重み:MIT。商用利用

インストール

bash
pip install "libreyolo[gen]"

このextraにはtransformersが含まれ、DINOv2画像エンコーダーを読み込みます。

推論

アクセス制限はなく、ログインも不要です。重みは初回使用時に、固定されたリビジョンでダウンロードされます。

Python
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("trellis")         # 初回使用時に重みをダウンロードresult = model(SAMPLE_IMAGE, seed=0) result.save("object.ply")           # 標準の 3DGS レイアウトresult.save("object.splat")         # コンパクトな Web 形式print(len(result.gaussians))        # 設定値ではなく物体次第
CLI
# runs/generate/predict に物体を .ply として保存libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=trellis seed=0
設定
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("trellis")result = model(SAMPLE_IMAGE, steps=12)          # 高速なサンプリングresult = model(SAMPLE_IMAGE, guidance=3.0, margin=1.3)

密なフロートランスフォーマーが16^3で物体の占有をデノイズし、3D CNNがそれを64^3グリッドのアクティブなボクセルへデコードし、疎なフロートランスフォーマーがそれらのボクセル上で構造化された潜在表現をデノイズし、疎なトランスフォーマーが各ボクセルを32個のガウシアンに変換します。両方のフローステージは518 pxの入力のDINOv2トークンを読み取ります。そのため、ガウシアンの数は物体によって決まります(多くの場合200,000〜600,000)。

アップストリームの疎な畳み込み(spconv)とアテンション(xformersまたはflash-attn)はCUDA上でのみ動作します。LibreYOLOはそれらをPyTorchの演算に置き換え、パラメータ名を維持しているため、公開済みの重みはNVIDIA GPU、Apple silicon、CPU上でそのまま読み込めます。ノイズはアップストリームと同じくCPU上で生成されるため、シードはどのデバイスでも同じ物体を与えます。

出力はresult.gaussiansで、Speridlabs Idolと同じペイロードです。z-upで[-0.5, 0.5]^3の範囲にあるxyz、scales、rotations、opacities、sh、colors、seed、paramsを持ちます。背景除去にはLibreYOLOのBiRefNetの移植版を使います。

設定

設定デフォルト意味
steps25両方のフローステージのサンプリングステップ数。
guidance5.0両方のフローステージのclassifier-free guidance。
shift3.0フローの時間シフト。
margin1.2物体サイズに対する切り抜きの辺の比率(アップストリームと同じ)。

バリアント

サイズはl(TRELLIS-image-large)の1つです。4つのネットワークで1.3Bパラメータ、約2.7 GBで、DINOv2 ViT-L/14エンコーダーにさらに1.2 GBが必要です。

エクスポート

タスクONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
3D generation3D generation to ONNX:非対応3D generation to TorchScript:非対応3D generation to ExecuTorch:非対応3D generation to TensorRT:非対応3D generation to OpenVINO:非対応3D generation to Paddle:非対応3D generation to MNN:非対応3D generation to RKNN:非対応3D generation to Axelera:非対応3D generation to ncnn:非対応3D generation to TFLite:非対応3D generation to CoreML:非対応3D generation to Core AI:非対応

LibreGenの3Dファミリーではエクスポートは実装されていません。export()、train()、val()はNotImplementedErrorを発生させます(ライブラリ内のADR 0031)。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
TRELLIS, Microsoft Research
アップストリームのライセンス
MIT
アップストリームのソース
github.com/microsoft/TRELLIS
LibreYOLOのコード
MIT
重み
MIT、huggingface.co/LibreYOLOで再公開
解釈
MIT is a permissive license, so the code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO's adapter is MIT, and the flow models, decoders, sparse modules and sampler it adapts from TRELLIS keep MIT, noted in libreyolo/models/gen/trellis/NOTICE. LibreYOLO replaces upstream's CUDA-only spconv, xformers and flash-attn calls with PyTorch, and does not use TRELLIS's Gaussian holder, which carries Inria's non-commercial Gaussian Splatting license. The microsoft/TRELLIS-image-large weights (MIT) are redistributed unchanged as LibreYOLO/LibreTRELLISl together with the BiRefNet weights (MIT); the DINOv2 image encoder, facebook/dinov2-with-registers-large (Apache-2.0), downloads from Meta. All are pinned and none is gated.

TRELLISはMicrosoft Researchによるものです(microsoft/TRELLIS)。コードとmicrosoft/TRELLIS-image-largeの重みはMITであるため、表示を残せば商用利用できます。LibreYOLOは重みを変更なしで、BiRefNetの重み(MIT)とともにLibreYOLO/LibreTRELLISlとして再配布しています。DINOv2エンコーダーのfacebook/dinov2-with-registers-largeはApache-2.0で、Metaからダウンロードされます。InriaのGaussian Splatting非商用ライセンスの下にあるアップストリームのガウシアン保持クラスは使用しません。

引用

@article{xiang2024structured,
    title   = {Structured 3D Latents for Scalable and Versatile 3D Generation},
    author  = {Xiang, Jianfeng and Lv, Zelong and Xu, Sicheng and Deng, Yu and Wang, Ruicheng and Zhang, Bowen and Chen, Dong and Tong, Xin and Yang, Jiaolong},
    journal = {arXiv preprint arXiv:2412.01506},
    year    = {2024}
}

著者によるgithub.com/microsoft/TRELLIS#-citationの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。