查看 Markdown

TripoSplat

TripoSplat 是 TripoAI(VAST)的图像转 3D 模型。它接收一张物体图片,把整个物体以 3D 高斯泼溅(Gaussian Splatting)的形式返回。Speridlabs Idol 就是基于它构建的,LibreYOLO 用同样的 LibreGen 调用和输出来运行它。

任务
3d generation
安装
pip install "libreyolo[gen]"
支持层级
兄弟层级,自 v1.8.0 起。一个独立的产品面,有自己的工厂和契约。
上游
TripoSplat,由 VAST (TripoAI) 发布,采用 MIT 许可。论文、源码
许可
代码采用 MIT and Apache-2.0,权重采用 MIT。商用

安装

bash
pip install "libreyolo[gen]"

这个 extra 会带上 diffusers(FLUX.2 VAE)和 transformers(DINOv3 编码器)。

预测

没有任何内容需要申请访问,也不需要登录。权重在首次使用时按固定版本下载。

Python
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("triposplat")      # 权重在首次使用时下载result = model(SAMPLE_IMAGE, seed=0) result.save("object.ply")           # 标准 3DGS 布局result.save("object.splat")         # 紧凑的 Web 格式print(len(result.gaussians))
CLI
# 把物体以 .ply 保存到 runs/generate/predict 下libreyolo generate source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/guggenheim-bilbao.jpg model=triposplat seed=0
设置
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("triposplat")result = model(SAMPLE_IMAGE, steps=20, gaussians=131072)

一个 6.6 亿参数的 rectified-flow transformer 以 1024 px 输入的 DINOv3 和 FLUX.2 VAE token 为条件,对物体潜变量和输入相机去噪。一个八叉树解码器放置锚点,一个高斯解码器把每个锚点转成 32 个高斯,总数从 32,768 到 262,144。它在 CUDA 和 Apple MPS 上用 fp16 运行,在 CPU 上用 fp32 运行,没有编译路径。

输出与 Speridlabs Idol 相同:result.gaussians,包含 xyz、scales、rotations、opacities、sh、colors、推断出的 camera、seed 和 params。物体 z 轴朝上,居中于 [-0.5, 0.5]^3。.ply 是转成 y 轴朝上的标准 3DGS 布局;.splat 是紧凑的 Web 格式。

种子像上游一样驱动模型所在设备上的生成器,所以同一个种子在不同设备上会给出不同的物体。与上游不同,八叉树采样也从带种子的生成器中抽取,所以一个种子能复现整个物体。

设置

设置默认值含义
steps20采样步数;上游建议 10 到 20。
guidance3.0无分类器引导(classifier-free guidance);小于等于 1 即关闭。
shift3.0flow 时间偏移。
gaussians262144输出中的高斯数量,从 32,768 到 262,144。
margin1.2裁剪边长与物体尺寸之比,与上游一致。

变体

一个尺寸,0.6b(6.6 亿参数),约 1.8 GB,另加 Idol 也在用的 DINOv3 ViT-H+ 编码器(1.7 GB)和 FLUX.2 VAE 编码器(0.2 GB)。

导出

任务ONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
3D generation3D generation to ONNX:不支持3D generation to TorchScript:不支持3D generation to ExecuTorch:不支持3D generation to TensorRT:不支持3D generation to OpenVINO:不支持3D generation to Paddle:不支持3D generation to MNN:不支持3D generation to RKNN:不支持3D generation to Axelera:不支持3D generation to ncnn:不支持3D generation to TFLite:不支持3D generation to CoreML:不支持3D generation to Core AI:不支持

LibreGen 的 3D 家族没有实现导出。export()、train() 和 val() 会抛出 NotImplementedError(见库里的 ADR 0031)。

许可证

请检查你所下载的具体权重在 Hugging Face 仓库中的许可。LibreYOLO 组织里的每个检查点都附有许可,同一家族内也不一定相同。该仓库是权威来源;以下摘要说明本页上次验证时适用的情况。

这里只说明涉及的许可证,不构成法律意见。如果答案对商用很重要,请自行阅读许可证并咨询法律顾问。

原始工作
TripoSplat, VAST (TripoAI)
上游许可
MIT
LibreYOLO 代码
MIT
权重
采用 MIT 许可,重新发布在 huggingface.co/LibreYOLO
解读
MIT is a permissive license, so the code and weights can be used in commercial and closed-source products; the only obligation is to keep the copyright and license notice with copies. LibreYOLO's adapter is MIT; the denoiser, octree and Gaussian decoders it ports from TripoSplat keep MIT, and the preprocessing and encoder tokenization shared with Speridlabs Idol come from the Apache-2.0 Idol SDK, with notices in libreyolo/models/gen/triposplat/NOTICE. The denoiser, decoder and BiRefNet weights are redistributed by LibreYOLO as LibreYOLO/LibreTripoSplat0.6b (MIT), byte-identical to VAST-AI/TripoSplat, and the FLUX.2 VAE downloads from black-forest-labs/FLUX.2-klein-4B (Apache-2.0). The DINOv3 image encoder is the exception: it is Meta's, under the DINOv3 License, a custom agreement that is not OSI-approved. It permits redistribution with a copy of the agreement and passes through trade-control and end-use restrictions (military, weapons, espionage and nuclear uses among them). LibreYOLO mirrors that encoder in bfloat16 at LibreYOLO/LibreDINOv3vith16plus together with the agreement, so nothing is gated; read the agreement before shipping a product on it.

TripoSplat 出自 TripoAI(VAST-AI-Research/TripoSplat)。代码和权重采用 MIT 许可;LibreYOLO 把去噪器、解码器和 BiRefNet 文件逐字节一致地镜像为 LibreYOLO/LibreTripoSplat0.6b。FLUX.2 VAE 来自 black-forest-labs/FLUX.2-klein-4B,采用 Apache-2.0 许可。

DINOv3 图像编码器不是 MIT 许可。 它属于 Meta,适用 DINOv3 License,这是一份带有贸易管制和最终用途限制(其中包括军事、武器、间谍和核用途)的自定义协议。LibreYOLO 把它以 bfloat16 连同该协议镜像在 LibreYOLO/LibreDINOv3vith16plus,所以没有任何内容需要申请访问。在基于这个模型发布产品之前,请先读一遍。

引用

@misc{yan2026generative3dgaussianslearned,
    title={Generative 3D Gaussians with Learned Density Control}, 
    author={Runjie Yan and Yan-Pei Cao and Peng Wang and Ding Liang and Yuan-Chen Guo},
    year={2026},
    eprint={2605.16355},
    archivePrefix={arXiv},
    primaryClass={cs.GR},
    url={https://arxiv.org/abs/2605.16355}, 
}

复制自作者在 github.com/VAST-AI-Research/TripoSplat#citation 上提供的引用块。

已针对 LibreYOLO v1.8.0 验证。本页的支持表、检查点和基准测试数据由已发布的库和权重生成,并非手工编写。