Markdownで表示

Direct3D-S2

Direct3D-S2はDreamTechの画像から3Dを生成するモデルです。疎なボクセル上に符号付き距離場を、まず512^3で、次に1024^3で生成し、物体をメッシュとして返します。アップストリームはCUDA専用の拡張を必要としますが、LibreYOLOはLibreGenファクトリーを通じて、同じ重みを純粋なPyTorchで実行します。

タスク
3d generation
サイズ
v11 at 518 px
インストール
pip install "libreyolo[gen]"
サポートティア
姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
アップストリーム
DreamTechのDirect3D-S2、MIT。論文、ソース
ライセンス
コード:MIT and Apache-2.0、重み:MIT。商用利用

インストール

bash
pip install "libreyolo[gen]"

このextraにはdiffusers、transformers(DINOv2エンコーダー)、scikit-image(マーチングキューブ)が含まれます。

推論

アクセス制限はなく、ログインも不要です。重みは初回使用時に、固定されたリビジョンでダウンロードされます。

Python
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("direct3d-s2")     # 初回使用時に重みをダウンロードresult = model(SAMPLE_IMAGE, seed=0) result.save("object.obj")m = result.meshesprint(m.vertices[0].shape, m.faces[0].shape)
CLI
# runs/generate/predict に物体を .obj として保存libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=direct3d-s2 seed=0
設定
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("direct3d-s2")result = model(SAMPLE_IMAGE, resolution=512)     # 1回目のパスで終了result = model(SAMPLE_IMAGE, steps=(25, 15, 8))  # ステージごとのステップ数を削減

密なフロートランスフォーマーが占有された64^3のボクセルを見つけ、spatial sparse attentionを持つ疎なフロートランスフォーマーがそれらの上で潜在表現をデノイズし、疎なデコーダーがそれを512^3の符号付き距離場に変換します。2回目のパスでは同じ処理を1024^3で繰り返します。メッシュはマーチングキューブで得られる、距離場のゼロ交差です。アップストリームはCUDA上でのみ動作します(torchsparse、flash-attn、Tritonカーネル、CUDAボクセライザー)。LibreYOLOはそれらをPyTorchの演算に置き換え、パラメータ名を維持しているため、公開済みのチェックポイントはCUDA、Apple MPS、CPU上でそのまま読み込めます。

シードは同じ物体を与えます。CUDAでは、初期ノイズはtorch.manual_seed(seed)に対するアップストリームのものと一致します。result.meshesは、z-upで[-0.5, 0.5]^3の範囲にあるvertices(V, 3)とfaces(F, 3)を保持します。アップストリームの省略可能なリメッシュと穴埋めは含まれないため(GPLのツールに依存するため)、メッシュはマーチングキューブが返したままの形で出力されます。

純粋なPyTorchでは低速です。ライブラリの計測では、RTX A6000で1024^3の物体1つに約18分と23 GBのGPUメモリを要し、アップストリームのCUDAカーネルでは2.5分です。resolution=512は1回目のパスで終了します。

設定

設定デフォルト意味
resolution10241024(アップストリームのデフォルト)または512。
steps(50, 30, 15)密、512、1024の各ステージのステップ数。整数1つで3つすべてを設定。
guidance7.03つすべてのステージのclassifier-free guidance。

バリアント

チェックポイントは1つで、v11(Direct3D-S2 v1.1)です。8つのネットワークで2.0Bパラメータ、約4.2 GBで、DINOv2 ViT-L/14にさらに1.2 GB、BiRefNetに0.4 GBが必要です。

エクスポート

タスクONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
3D generation3D generation to ONNX:非対応3D generation to TorchScript:非対応3D generation to ExecuTorch:非対応3D generation to TensorRT:非対応3D generation to OpenVINO:非対応3D generation to Paddle:非対応3D generation to MNN:非対応3D generation to RKNN:非対応3D generation to Axelera:非対応3D generation to ncnn:非対応3D generation to TFLite:非対応3D generation to CoreML:非対応3D generation to Core AI:非対応

LibreGenの3Dファミリーではエクスポートは実装されていません。export()、train()、val()はNotImplementedErrorを発生させます(ライブラリ内のADR 0031)。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
Direct3D-S2, DreamTech
アップストリームのライセンス
MIT
アップストリームのソース
github.com/DreamTechAI/Direct3D-S2
LibreYOLOのコード
MIT
重み
MIT、huggingface.co/LibreYOLOで再公開
解釈
MIT is a permissive license, so the code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO's adapter is MIT; the flow transformers, SDF VAE decoders, refiners and spatial sparse attention it adapts from Direct3D-S2 keep MIT, with the attention following native-sparse-attention-triton (Apache-2.0) and the transformer modules TRELLIS's (MIT), noted in libreyolo/models/gen/direct3d_s2/NOTICE. Upstream's hole filling and remeshing, which need GPL-licensed pymeshfix and python-igraph, are not used. The wushuang98/Direct3D-S2 v1.1 weights (MIT) are redistributed unchanged as LibreYOLO/LibreDirect3DS2v11; the BiRefNet weights (MIT) come from LibreYOLO/LibreTRELLISl and the DINOv2 encoder, facebook/dinov2-with-registers-large (Apache-2.0), from Meta. All are pinned and none is gated.

Direct3D-S2はDreamTechによるものです(DreamTechAI/Direct3D-S2)。コードとwushuang98/Direct3D-S2のv1.1の重みはMITであるため、表示を残せば商用利用できます。LibreYOLOは重みを変更なしでLibreYOLO/LibreDirect3DS2v11として再配布しています。BiRefNet(MIT)はLibreYOLO/LibreTRELLISlから、DINOv2エンコーダーのfacebook/dinov2-with-registers-large(Apache-2.0)はMetaから取得します。アップストリームのGPLのpymeshfixとpython-igraphは使用しません。

引用

@article{wu2025direct3ds2gigascale3dgeneration,
  title={Direct3D-S2: Gigascale 3D Generation Made Easy with Spatial Sparse Attention}, 
  author={Shuang Wu and Youtian Lin and Feihu Zhang and Yifei Zeng and Yikang Yang and Yajie Bao and Jiachen Qian and Siyu Zhu and Philip Torr and Xun Cao and Yao Yao},
  journal={arXiv preprint arXiv:2505.17412},
  year={2025}
}

著者によるgithub.com/DreamTechAI/Direct3D-S2#-citationの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。