Markdownで表示

TRELLIS.2

TRELLIS.2はMicrosoftのオープンな4Bの画像から3Dを生成するモデルです。最大1536^3のグリッド上で、物体の形状をメッシュとして返します。LibreYOLOはLibreGenファクトリーを通じて同じ重みを純粋なPyTorchで実行し、ジオメトリのみを扱います。

タスク
3d generation
サイズ
4b at 1024 px
インストール
pip install "libreyolo[gen]"
サポートティア
姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
アップストリーム
Microsoft ResearchのTRELLIS.2、DINOv3 License。論文、ソース
ライセンス
コード:MIT、重み:MIT and DINOv3 License。商用利用

インストール

bash
pip install "libreyolo[gen]"

このextraにはtransformersが含まれ、DINOv3画像エンコーダーを読み込みます。

推論

アクセス制限はなく、ログインも不要です。重みは初回使用時に、固定されたリビジョンでダウンロードされます。

Python
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("trellis2")        # "trellis.2" も可result = model(SAMPLE_IMAGE, seed=0) result.save("object.obj")m = result.meshesprint(m.vertices[0].shape, m.faces[0].shape, m.seed)
CLI
# runs/generate/predict に物体を .obj として保存libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=trellis2 seed=0
設定
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("trellis2")result = model(SAMPLE_IMAGE, resolution=512)    # 形状ステージ1つで高速result = model(SAMPLE_IMAGE, resolution=1536)   # 最も細かいグリッド

構造ステージが占有されたボクセルを配置し、形状ステージがそれらの上に潜在表現を埋め(512で、続いて1024または1536でもう一度)、疎なデコーダーがそれをデュアルグリッドのメッシュに変換します。両方のフローステージはDINOv3 ViT-L/16のトークンを読み取ります。アップストリームはCUDA専用の拡張(FlexGEMM、flash-attn、o-voxel)を必要としますが、LibreYOLOは同じ重みを純粋なPyTorchで、NVIDIA GPU、Apple silicon、CPU上で実行します。ノイズはCPU上で生成されるため、シードはカーネルの丸め誤差の範囲で、どのデバイスでも同じ物体を与えます。

result.meshesは、z-upで[-0.5, 0.5]^3の範囲にあるvertices(V, 3)とfaces(F, 3)のメッシュを保持します。これはジオメトリのみで、アップストリームのCuMeshによるクリーンアップ前の生のデュアルグリッドです。面の向きは一貫しておらず、使われない頂点もあります。アップストリームのテクスチャステージは非商用のNVIDIAライブラリであるnvdiffrastでベイクするため、LibreYOLOには含まれていません。

ライブラリの計測では、A100で1024の物体1つに19.5秒とピーク14.3 GBのGPUメモリ、512では5.5秒と11.6 GBでした。

設定

設定デフォルト意味
steps12サンプリングステップ数。
guidance7.5classifier-free guidance。
resolution1024出力グリッド:512、1024、または1536。
margin1.0物体サイズに対する切り抜きの辺の比率。
max_tokens49152カスケードのトークン予算。収まるように解像度を下げることがあり、使用した解像度はparamsに記録されます。

バリアント

サイズは4bの1つです。5つのネットワークで4Bパラメータ、約8.7 GBで、DINOv3エンコーダーにさらに1.2 GB、TRELLISのミラーから1.3 GBが必要です。

エクスポート

タスクONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
3D generation3D generation to ONNX:非対応3D generation to TorchScript:非対応3D generation to ExecuTorch:非対応3D generation to TensorRT:非対応3D generation to OpenVINO:非対応3D generation to Paddle:非対応3D generation to MNN:非対応3D generation to RKNN:非対応3D generation to Axelera:非対応3D generation to ncnn:非対応3D generation to TFLite:非対応3D generation to CoreML:非対応3D generation to Core AI:非対応

LibreGenの3Dファミリーではエクスポートは実装されていません。export()、train()、val()はNotImplementedErrorを発生させます(ライブラリ内のADR 0031)。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
TRELLIS.2, Microsoft Research
アップストリームのライセンス
DINOv3 License
アップストリームのソース
github.com/microsoft/TRELLIS.2
LibreYOLOのコード
MIT
重み
MIT and DINOv3 License、huggingface.co/LibreYOLOで再公開
解釈
The TRELLIS.2 code and its microsoft/TRELLIS.2-4B weights are MIT, a permissive license that allows commercial and closed-source use with the copyright notice kept. The image encoder it needs is not: facebook/dinov3-vitl16-pretrain-lvd1689m is Meta's, under the DINOv3 License, a custom agreement that is not OSI-approved. It permits redistribution with a copy of the agreement and passes through trade-control and end-use restrictions (military, weapons, espionage and nuclear uses among them), so it sets the terms for the pipeline as a whole; read it before shipping a product on it. LibreYOLO's adapter is MIT, and the flow models, VAE decoder and dual-grid meshing it adapts from TRELLIS.2 keep MIT, noted in libreyolo/models/gen/trellis2/NOTICE. Upstream's nvdiffrast and nvdiffrec (NVIDIA, non-commercial) and BRIA's RMBG-2.0 (non-commercial) are not used, and the texture stage is not ported. Weights are redistributed unchanged at pinned revisions and none is gated: the geometry networks as LibreYOLO/LibreTRELLIS2-4b, TRELLIS's structure decoder and the BiRefNet weights (MIT) from LibreYOLO/LibreTRELLISl, and the DINOv3 encoder as LibreYOLO/LibreDINOv3vitl16 with the agreement.

TRELLIS.2はMicrosoft Researchによるものです(microsoft/TRELLIS.2)。コードとmicrosoft/TRELLIS.2-4Bの重みはMITです。

パイプラインの条件は画像エンコーダーが決めます。 これはMetaのfacebook/dinov3-vitl16-pretrain-lvd1689mで、DINOv3 Licenseの下にあります。これはOSI承認ではない独自の契約で、貿易管理と最終用途の制限(軍事、兵器、諜報、核での利用など)を引き継ぎます。このモデルで製品を出荷する前に必ず読んでください。

重みは固定されたリビジョンで変更なしに再配布されており、アクセス制限のあるものはありません。ジオメトリのネットワークはLibreYOLO/LibreTRELLIS2-4bとして、TRELLISの構造デコーダーとBiRefNet(MIT)はLibreYOLO/LibreTRELLISlから、DINOv3エンコーダーは契約とともにLibreYOLO/LibreDINOv3vitl16として提供されます。nvdiffrast、nvdiffrec、RMBG-2.0(いずれも非商用)は使用しません。

引用

@article{
    xiang2025trellis2,
    title={Native and Compact Structured Latents for 3D Generation},
    author={Xiang, Jianfeng and Chen, Xiaoxue and Xu, Sicheng and Wang, Ruicheng and Lv, Zelong and Deng, Yu and Zhu, Hongyuan and Dong, Yue and Zhao, Hao and Yuan, Nicholas Jing and Yang, Jiaolong},
    journal={Tech report},
    year={2025}
}

著者によるgithub.com/microsoft/TRELLIS.2#-citationの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。