TRELLIS

TRELLIS is Microsoft's open image-to-3D model. It builds the object as a sparse voxel structure first, then 32 Gaussians per occupied voxel. Upstream needs CUDA-only extensions; LibreYOLO runs the same weights in plain PyTorch through the LibreGen factory.

Tác vụ
3d generation
Kích thước
l at 518 px
Cài đặt
pip install "libreyolo[gen]"
Bậc hỗ trợ
Bậc song hành, từ v1.8.0. Một bề mặt sản phẩm riêng với factory và contract riêng.
Thượng nguồn
TRELLIS của Microsoft Research, MIT. Bài báo, mã nguồn
Giấy phép
Mã nguồn MIT, trọng số MIT. Sử dụng thương mại

Install

bash
pip install "libreyolo[gen]"

The extra brings transformers, which loads the DINOv2 image encoder.

Predict

Nothing is gated and no login is needed. Weights download on first use at pinned revisions.

Python
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("trellis")         # weights download on first useresult = model(SAMPLE_IMAGE, seed=0) result.save("object.ply")           # standard 3DGS layoutresult.save("object.splat")         # compact web formatprint(len(result.gaussians))        # follows the object, not a knob
CLI
# Saves the object as .ply under runs/generate/predict.libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=trellis seed=0
Settings
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("trellis")result = model(SAMPLE_IMAGE, steps=12)          # faster samplingresult = model(SAMPLE_IMAGE, guidance=3.0, margin=1.3)

A dense flow transformer denoises the object's occupancy at 16^3, a 3D CNN decodes it to the active voxels of a 64^3 grid, a sparse flow transformer denoises a structured latent on those voxels, and a sparse transformer turns each voxel into 32 Gaussians. Both flow stages read DINOv2 tokens of the 518 px input. The number of Gaussians therefore follows the object (often 200,000 to 600,000).

Upstream's sparse convolutions (spconv) and attention (xformers or flash-attn) run on CUDA only. LibreYOLO replaces them with PyTorch operations and keeps the parameter names, so the released weights load unchanged on NVIDIA GPUs, Apple silicon and CPU. Noise is drawn on the CPU as upstream does, so a seed gives the same object on every device.

The output is result.gaussians, the same payload as Speridlabs Idol: xyz, scales, rotations, opacities, sh, colors, seed and params, z-up in [-0.5, 0.5]^3. Background removal runs on LibreYOLO's BiRefNet port.

Settings

SettingDefaultMeaning
steps25Sampling steps, for both flow stages.
guidance5.0Classifier-free guidance, for both flow stages.
shift3.0Flow time shift.
margin1.2Crop side over object size, as upstream.

Variants

One size, l (TRELLIS-image-large): 1.3B parameters in four networks, about 2.7 GB, plus 1.2 GB for the DINOv2 ViT-L/14 encoder.

Export

Tác vụONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
3D generation3D generation to ONNX: không được hỗ trợ3D generation to TorchScript: không được hỗ trợ3D generation to ExecuTorch: không được hỗ trợ3D generation to TensorRT: không được hỗ trợ3D generation to OpenVINO: không được hỗ trợ3D generation to Paddle: không được hỗ trợ3D generation to MNN: không được hỗ trợ3D generation to RKNN: không được hỗ trợ3D generation to Axelera: không được hỗ trợ3D generation to ncnn: không được hỗ trợ3D generation to TFLite: không được hỗ trợ3D generation to CoreML: không được hỗ trợ3D generation to Core AI: không được hỗ trợ

Export is not implemented for LibreGen 3D families. export(), train() and val() raise NotImplementedError (ADR 0031 in the library).

Licensing

Hãy kiểm tra giấy phép trong repo Hugging Face của trọng số cụ thể mà bạn tải xuống. Mỗi checkpoint trong tổ chức LibreYOLO đều có giấy phép riêng và giấy phép có thể khác nhau trong cùng một họ. Repo đó là nguồn có thẩm quyền; phần tóm tắt dưới đây mô tả các điều khoản áp dụng khi trang này được kiểm chứng lần gần nhất.

Đây là phần mô tả các giấy phép liên quan, không phải tư vấn pháp lý. Nếu câu trả lời có ý nghĩa về mặt thương mại, hãy tự đọc các giấy phép và tham khảo cố vấn của riêng bạn.

Công trình gốc
TRELLIS, Microsoft Research
Giấy phép thượng nguồn
MIT
Nguồn thượng nguồn
github.com/microsoft/TRELLIS
Mã nguồn LibreYOLO
MIT
Trọng số
MIT, được phát hành lại tại huggingface.co/LibreYOLO
Diễn giải
MIT is a permissive license, so the code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO's adapter is MIT, and the flow models, decoders, sparse modules and sampler it adapts from TRELLIS keep MIT, noted in libreyolo/models/gen/trellis/NOTICE. LibreYOLO replaces upstream's CUDA-only spconv, xformers and flash-attn calls with PyTorch, and does not use TRELLIS's Gaussian holder, which carries Inria's non-commercial Gaussian Splatting license. The microsoft/TRELLIS-image-large weights (MIT) are redistributed unchanged as LibreYOLO/LibreTRELLISl together with the BiRefNet weights (MIT); the DINOv2 image encoder, facebook/dinov2-with-registers-large (Apache-2.0), downloads from Meta. All are pinned and none is gated.

TRELLIS is by Microsoft Research (microsoft/TRELLIS). Code and the microsoft/TRELLIS-image-large weights are MIT, so commercial use is fine with the notice kept. LibreYOLO redistributes the weights unchanged, with the BiRefNet weights (MIT), as LibreYOLO/LibreTRELLISl. The DINOv2 encoder, facebook/dinov2-with-registers-large, is Apache-2.0 and downloads from Meta. Upstream's Gaussian holder, under Inria's non-commercial Gaussian Splatting license, is not used.

Citation

@article{xiang2024structured,
    title   = {Structured 3D Latents for Scalable and Versatile 3D Generation},
    author  = {Xiang, Jianfeng and Lv, Zelong and Xu, Sicheng and Deng, Yu and Wang, Ruicheng and Zhang, Bowen and Chen, Dong and Tong, Xin and Yang, Jiaolong},
    journal = {arXiv preprint arXiv:2412.01506},
    year    = {2024}
}

Được sao chép từ khối trích dẫn của tác giả tại github.com/microsoft/TRELLIS#-citation.

Đã kiểm chứng với LibreYOLO v1.8.0. Các bảng hỗ trợ, checkpoint và số liệu benchmark trên trang này được tạo từ thư viện đã phát hành và trọng số đã công bố, không phải viết thủ công.