SAM 3D Body
SAM 3D Body adalah model berbasis prompt dari Meta untuk memulihkan mesh 3D seluruh tubuh, termasuk tangan dan kaki, dari satu gambar dan kotak orang. LibreYOLO membungkus paket upstream, bukan mem-porting-nya.
- Task
- mesh
- Ukuran
- d3, h at 512 px
- Instalasi
pip install libreyolo- Tier dukungan
- Hanya inferensi, sejak v. Hanya prediksi, validasi, dan ekspor. Fitur pelatihan tidak berlaku.
- Proyek upstream
- SAM 3D Body oleh Meta Platforms, Inc., SAM License (not OSI-approved). Makalah, sumber
- Lisensi
- Kode MIT, bobot SAM License (not OSI-approved). Penggunaan komersial
Instalasi
pip install libreyoloPerintah tersebut hanya memberikan adapter LibreYOLO. SAM 3D Body sendiri tidak disertakan karena lisensinya tidak mengizinkan kode LibreYOLO diturunkan darinya: clone repositori upstream dan pasang dependensinya sendiri, lalu arahkan LibreYOLO ke clone tersebut.
git clone https://github.com/facebookresearch/sam-3d-body
pip install roma einops yacs omegaconf braceexpand pytorch-lightning timmfrom libreyolo.models.sam3dbody import LibreSAM3DBody
model = LibreSAM3DBody(
None,
size="d3",
sam_3d_body_path="/path/to/sam-3d-body",
device="cuda",
)atau tetapkan variabel lingkungan SAM_3D_BODY_PATH sebagai pengganti penerusan
sam_3d_body_path pada setiap pemanggilan. Pengguna yang tidak pernah membuat family ini
tidak akan memicu impor dan tidak akan menemui SAM License. Family ini tidak terhubung
ke factory LibreYOLO() atau perintah CLI libreyolo predict; LibreSAM3DBody adalah
satu-satunya entry point.
Prediksi
from libreyolo import SAMPLE_IMAGEfrom libreyolo.models.sam3dbody import LibreSAM3DBody # Family ini tidak terdaftar pada factory LibreYOLO(), sehingga dibuat# secara langsung. model_path=None memicu pengunduhan Hugging Face yang# dibatasi; sebuah string dianggap sebagai path checkpoint lokal yang ada# dan tidak pernah diambil secara otomatis. Inferensi memerlukan perangkat# CUDA; tidak ada jalur CPU.model = LibreSAM3DBody(None, size="d3", device="cuda")result = model(SAMPLE_IMAGE, person_boxes=[[34, 12, 220, 400]]) meshes = result.meshesprint(meshes.vertices.shape) # (N, V, 3), frame kamera, meterprint(meshes.joints3d.shape) # (N, J, 3)from libreyolo import LibreYOLO, SAMPLE_IMAGEfrom libreyolo.models.sam3dbody import LibreSAM3DBody # Tidak ada shortcut string bernama di sini: berikan detektor LibreYOLO# yang sudah dibuat, callable biasa, atau instance PersonDetector.detector = LibreYOLO("LibreRFDETRn.pt")model = LibreSAM3DBody(None, size="d3", device="cuda") result = model(SAMPLE_IMAGE, person_detector=detector)Pengunduhan checkpoint dibatasi: pengguna harus menerima lisensi Meta pada halaman model
Hugging Face dan melakukan autentikasi dengan hf auth login sebelum pengunduhan pertama
berhasil. Inferensi sendiri selalu memerlukan perangkat CUDA: estimator upstream memindahkan
batch ke GPU tanpa pemeriksaan, sehingga mesin khusus CPU akan memunculkan error, bukan
beralih ke jalur cadangan. result.meshes adalah payload Meshes yang barisnya sejajar
dengan result.boxes (satu baris per orang yang terdeteksi): vertices dan joints3d
bersifat metrik serta sudah menyertakan estimasi translasi kamera, joints2d berada dalam
piksel pada gambar asli, dan rotasinya mengikuti konvensi MHR, yaitu sudut Euler, bukan
axis-angle. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.
Varian
Dua backbone di balik model tubuh MHR yang sama: d3 memakai encoder DINOv3 ViT-H/16+,
sedangkan h memakai encoder ViT-H asli.
Ekspor
| Task | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| mesh | mesh to ONNX: tidak didukung | mesh to TorchScript: tidak didukung | mesh to ExecuTorch: tidak didukung | mesh to TensorRT: tidak didukung | mesh to OpenVINO: tidak didukung | mesh to Paddle: tidak didukung | mesh to MNN: tidak didukung | mesh to RKNN: tidak didukung | mesh to ncnn: tidak didukung | mesh to TFLite: tidak didukung | mesh to CoreML: tidak didukung | mesh to Core AI: tidak didukung |
Ekspor mesh tubuh belum diimplementasikan: LibreYOLO belum menentukan kontrak graph hasil ekspor untuk task mesh, termasuk cara merepresentasikan tata letak parameter MHR di luar PyTorch.
Checkpoint
Setiap berkas bobot yang dipublikasikan untuk family ini.
| Berkas | Input (piksel) | Lisensi bobot |
|---|---|---|
| mesh | ||
| LibreSAM3DBodyd3-mesh.pt | 512 | other |
| LibreSAM3DBodyh-mesh.pt | 512 | other |
Setiap berkas di atas saat ini tersedia di organisasi LibreYOLO dan diunduh saat pertama kali digunakan.
Lisensi
Periksa lisensi di repositori Hugging Face untuk bobot tertentu yang diunduh. Setiap checkpoint di organisasi LibreYOLO memiliki lisensi, dan lisensinya tidak selalu sama dalam satu family. Repositori tersebut adalah sumber resmi. Ringkasan di bawah menjelaskan ketentuan yang berlaku saat halaman ini terakhir diverifikasi.
Ini adalah deskripsi lisensi yang terlibat, bukan nasihat hukum. Jika jawabannya penting secara komersial, baca sendiri lisensinya dan mintalah nasihat dari penasihat hukum Anda.
- Karya asli
- SAM 3D Body, Meta Platforms, Inc.
- Lisensi upstream
- SAM License (not OSI-approved)
- Sumber upstream
- github.com/facebookresearch/sam-3d-body
- Kode LibreYOLO
- MIT
- Bobot
- SAM License (not OSI-approved), dipublikasikan ulang di huggingface.co/LibreYOLO
- Interpretasi
- The SAM License is not one OSI recognizes as open source. Meta can amend its terms unilaterally, disclaims all warranty and liability, forbids reverse engineering the SAM Materials, and forbids any use touching military or warfare purposes, nuclear applications, espionage, weapons, or other export-controlled ends. It does not forbid commercial use outright, but a litigation clause ends your license the moment you sue Meta over the SAM Materials, so read it yourself before shipping a product on it. LibreYOLO wraps Meta's package rather than porting its code: none of it is vendored, it is an optional dependency the user installs themselves, and a user who never touches the mesh task never encounters these terms. The checkpoints are mirrored byte-identically behind the same Hugging Face access gate Meta uses, so accepting the license happens on Meta's own model page. LibreYOLO's own adapter code is MIT. The body model the checkpoints drive, MHR (Momentum Human Rig), is Meta's separate Apache-2.0 release and is fetched at runtime from its own public repository rather than mirrored.
Model tubuh yang dijalankan checkpoint, MHR (Momentum Human Rig), adalah rilis Meta terpisah di bawah Apache-2.0. LibreYOLO mengambil aset TorchScript dari rilis publik MHR sendiri saat runtime dan menyimpannya dalam cache lokal; berkas tersebut tidak dicerminkan oleh LibreYOLO dan membawa ketentuan Apache-2.0-nya sendiri, bukan SAM License.
Sitasi
@article{yang2026sam3dbody,
title={SAM 3D Body: Robust Full-Body Human Mesh Recovery},
author={Yang, Xitong and Kukreja, Devansh and Pinkus, Don and Sagar, Anushka and Fan, Taosha and Park, Jinhyung and Shin, Soyong and Cao, Jinkun and Liu, Jiawei and Ugrinovic, Nicolas and Feiszli, Matt and Malik, Jitendra and Dollar, Piotr and Kitani, Kris},
journal={arXiv preprint arXiv:2602.15989},
year={2026}
}Disalin dari blok sitasi penulis di github.com/facebookresearch/sam-3d-body#citing-sam-3d-body.