Xem dưới dạng Markdown

SAM 3D Body

SAM 3D Body là mô hình dùng prompt của Meta để khôi phục mesh 3D toàn thân, gồm cả bàn tay và bàn chân, từ một ảnh và các box người. LibreYOLO bọc gói thượng nguồn thay vì chuyển đổi mô hình.

Tác vụ
mesh
Kích thước
d3, h at 512 px
Cài đặt
pip install libreyolo
Bậc hỗ trợ
Chỉ suy luận, từ v. Chỉ dự đoán, kiểm định và xuất. Không áp dụng các tính năng huấn luyện.
Thượng nguồn
SAM 3D Body của Meta Platforms, Inc., SAM License (not OSI-approved). Bài báo, mã nguồn
Giấy phép
Mã nguồn MIT, trọng số SAM License (not OSI-approved). Sử dụng thương mại

Cài đặt

bash
pip install libreyolo

Lệnh này chỉ cung cấp adapter của LibreYOLO. Bản thân SAM 3D Body không được đóng gói kèm vì giấy phép của nó không cho phép mã riêng của LibreYOLO tạo sản phẩm phái sinh: hãy clone repo thượng nguồn và tự cài các dependency, sau đó trỏ LibreYOLO đến bản clone.

bash
git clone https://github.com/facebookresearch/sam-3d-body
pip install roma einops yacs omegaconf braceexpand pytorch-lightning timm
python
from libreyolo.models.sam3dbody import LibreSAM3DBody

model = LibreSAM3DBody(
    None,
    size="d3",
    sam_3d_body_path="/path/to/sam-3d-body",
    device="cuda",
)

hoặc đặt biến môi trường SAM_3D_BODY_PATH thay vì truyền sam_3d_body_path trong mọi lời gọi. Người dùng không khởi tạo họ này sẽ không kích hoạt thao tác import và không gặp SAM License. Họ này không được nối vào factory LibreYOLO() hay lệnh CLI libreyolo predict; LibreSAM3DBody là điểm vào duy nhất.

Dự đoán

Python
from libreyolo import SAMPLE_IMAGEfrom libreyolo.models.sam3dbody import LibreSAM3DBody # Họ này không được đăng ký với factory LibreYOLO(), nên được khởi tạo# trực tiếp. model_path=None kích hoạt bản tải Hugging Face bị giới hạn;# còn một chuỗi được coi là đường dẫn checkpoint cục bộ hiện có và không# bao giờ được tự động tải. Suy luận cần thiết bị CUDA; không có luồng CPU.model = LibreSAM3DBody(None, size="d3", device="cuda")result = model(SAMPLE_IMAGE, person_boxes=[[34, 12, 220, 400]]) meshes = result.meshesprint(meshes.vertices.shape)    # (N, V, 3), hệ tọa độ camera, métprint(meshes.joints3d.shape)    # (N, J, 3)
Với detector người
from libreyolo import LibreYOLO, SAMPLE_IMAGEfrom libreyolo.models.sam3dbody import LibreSAM3DBody # Không có lối tắt bằng chuỗi tên ở đây: hãy truyền một detector LibreYOLO# đã khởi tạo, một callable thông thường hoặc một instance PersonDetector.detector = LibreYOLO("LibreRFDETRn.pt")model = LibreSAM3DBody(None, size="d3", device="cuda") result = model(SAMPLE_IMAGE, person_detector=detector)

Bản tải checkpoint bị giới hạn truy cập: bạn phải chấp nhận giấy phép của Meta trên trang mô hình Hugging Face và xác thực bằng hf auth login trước khi lần tải đầu tiên thành công. Bản thân suy luận luôn cần thiết bị CUDA: estimator thượng nguồn chuyển batch sang GPU mà không kiểm tra, vì vậy máy chỉ có CPU sẽ phát sinh lỗi thay vì dùng luồng dự phòng. result.meshes là payload Meshes, căn theo hàng với result.boxes (mỗi người được phát hiện tương ứng một hàng): vertices và joints3d dùng đơn vị mét và đã gồm phép tịnh tiến camera ước lượng, joints2d dùng pixel trên ảnh gốc, còn phép quay tuân theo quy ước của MHR, tức góc Euler thay vì trục-góc. Xem dự đoán để biết về nguồn, streaming và xử lý kết quả.

Các biến thể

Có hai backbone phía sau cùng mô hình cơ thể MHR: d3 dùng bộ mã hóa DINOv3 ViT-H/16+, còn h dùng bộ mã hóa ViT-H nguyên bản.

Xuất

Tác vụONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNncnnTFLiteCoreMLCore AI
meshmesh to ONNX: không được hỗ trợmesh to TorchScript: không được hỗ trợmesh to ExecuTorch: không được hỗ trợmesh to TensorRT: không được hỗ trợmesh to OpenVINO: không được hỗ trợmesh to Paddle: không được hỗ trợmesh to MNN: không được hỗ trợmesh to RKNN: không được hỗ trợmesh to ncnn: không được hỗ trợmesh to TFLite: không được hỗ trợmesh to CoreML: không được hỗ trợmesh to Core AI: không được hỗ trợ

Chưa triển khai xuất mesh cơ thể: LibreYOLO chưa định nghĩa giao diện đồ thị đã xuất cho tác vụ mesh, bao gồm cách biểu diễn bố cục tham số MHR bên ngoài PyTorch.

Checkpoint

Mọi tệp trọng số đã công bố cho họ này.

TệpĐầu vào (px)Giấy phép trọng số
mesh
LibreSAM3DBodyd3-mesh.pt512other
LibreSAM3DBodyh-mesh.pt512other

Mọi tệp ở trên hiện đều có trong tổ chức LibreYOLO và được tải xuống trong lần sử dụng đầu tiên.

Giấy phép

Hãy kiểm tra giấy phép trong repo Hugging Face của trọng số cụ thể mà bạn tải xuống. Mỗi checkpoint trong tổ chức LibreYOLO đều có giấy phép riêng và giấy phép có thể khác nhau trong cùng một họ. Repo đó là nguồn có thẩm quyền; phần tóm tắt dưới đây mô tả các điều khoản áp dụng khi trang này được kiểm chứng lần gần nhất.

Đây là phần mô tả các giấy phép liên quan, không phải tư vấn pháp lý. Nếu câu trả lời có ý nghĩa về mặt thương mại, hãy tự đọc các giấy phép và tham khảo cố vấn của riêng bạn.

Công trình gốc
SAM 3D Body, Meta Platforms, Inc.
Giấy phép thượng nguồn
SAM License (not OSI-approved)
Nguồn thượng nguồn
github.com/facebookresearch/sam-3d-body
Mã nguồn LibreYOLO
MIT
Trọng số
SAM License (not OSI-approved), được phát hành lại tại huggingface.co/LibreYOLO
Diễn giải
The SAM License is not one OSI recognizes as open source. Meta can amend its terms unilaterally, disclaims all warranty and liability, forbids reverse engineering the SAM Materials, and forbids any use touching military or warfare purposes, nuclear applications, espionage, weapons, or other export-controlled ends. It does not forbid commercial use outright, but a litigation clause ends your license the moment you sue Meta over the SAM Materials, so read it yourself before shipping a product on it. LibreYOLO wraps Meta's package rather than porting its code: none of it is vendored, it is an optional dependency the user installs themselves, and a user who never touches the mesh task never encounters these terms. The checkpoints are mirrored byte-identically behind the same Hugging Face access gate Meta uses, so accepting the license happens on Meta's own model page. LibreYOLO's own adapter code is MIT. The body model the checkpoints drive, MHR (Momentum Human Rig), is Meta's separate Apache-2.0 release and is fetched at runtime from its own public repository rather than mirrored.

Mô hình cơ thể được các checkpoint vận hành, MHR (Momentum Human Rig), là bản phát hành riêng của Meta theo Apache-2.0. LibreYOLO lấy tài nguyên TorchScript của mô hình từ bản phát hành công khai riêng của MHR trong runtime và lưu cục bộ; LibreYOLO không tạo bản sao tệp đó, và tệp tuân theo các điều khoản Apache-2.0 riêng chứ không phải SAM License.

Trích dẫn

@article{yang2026sam3dbody,
  title={SAM 3D Body: Robust Full-Body Human Mesh Recovery},
  author={Yang, Xitong and Kukreja, Devansh and Pinkus, Don and Sagar, Anushka and Fan, Taosha and Park, Jinhyung and Shin, Soyong and Cao, Jinkun and Liu, Jiawei and Ugrinovic, Nicolas and Feiszli, Matt and Malik, Jitendra and Dollar, Piotr and Kitani, Kris},
  journal={arXiv preprint arXiv:2602.15989},
  year={2026}
}

Được sao chép từ khối trích dẫn của tác giả tại github.com/facebookresearch/sam-3d-body#citing-sam-3d-body.

Đã kiểm chứng với LibreYOLO v1.5.0. Các bảng hỗ trợ, checkpoint và số liệu benchmark trên trang này được tạo từ thư viện đã phát hành và trọng số đã công bố, không phải viết thủ công.