V-JEPA 2
V-JEPA 2 produces video embeddings and supports training an attentive classification probe.
- Tác vụ
- embeddings, classification
- Kích thước
- l256, h256, g256, g384 at 256 to 384 px
- Cài đặt
pip install libreyolo- Bậc hỗ trợ
- Được hỗ trợ, từ v1.6.0. Các mô hình huấn luyện bổ trợ: luôn giữ CI ở trạng thái xanh, tính năng được bổ sung khi có cơ hội.
- Giấy phép
- Mã nguồn MIT, trọng số MIT; Apache-2.0 for giant encoder artifacts. Sử dụng thương mại
Install
pip install "libreyolo"Predict
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")result = model(SAMPLE_IMAGE)print(result.embeddings)tokens = model.embed_tokens(SAMPLE_IMAGE)print(tokens.shape)A still image is promoted to a clip. embed_tokens() returns (B, T, H, W, D) tokens; the public embedding normalizes their mean. Exported clip graphs require direct five-dimensional runtime input.
Train
Only the attentive probe and linear classifier train; the encoder stays frozen. Use the classification task and a video-manifest dataset. Defaults are 10 epochs, batch 2, learning rate 0.001 and workers 0. Full encoder fine-tuning and pretraining are not supported.
Dataset setup describes the required training data.
from libreyolo import LibreYOLO model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML (train/val manifests of '<video-path> <class-id>' lines).model.train(data="path/to/your/video_dataset.yaml", epochs=1, device="cpu", workers=0)Validate
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML; val() reads its val manifest of '<video-path> <class-id>' lines.metrics = model.val(data="path/to/your/video_dataset.yaml", workers=0)print(metrics)Use the dataset format for this task. Validation explains the dataset requirements and returned metrics.
Export
| Tác vụ | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Embeddings | Embeddings to ONNX: được hỗ trợ | Embeddings to TorchScript: được hỗ trợ | Embeddings to ExecuTorch: được hỗ trợ | Embeddings to TensorRT: được hỗ trợ | Embeddings to OpenVINO: được hỗ trợ | Embeddings to Paddle: không được hỗ trợ | Embeddings to MNN: không được hỗ trợ | Embeddings to RKNN: không được hỗ trợ | Embeddings to ncnn: không được hỗ trợ | Embeddings to TFLite: không được hỗ trợ | Embeddings to CoreML: không được hỗ trợ | Embeddings to Core AI: không được hỗ trợ |
| Classification | Classification to ONNX: được hỗ trợ | Classification to TorchScript: được hỗ trợ | Classification to ExecuTorch: được hỗ trợ | Classification to TensorRT: được hỗ trợ | Classification to OpenVINO: được hỗ trợ | Classification to Paddle: không được hỗ trợ | Classification to MNN: không được hỗ trợ | Classification to RKNN: không được hỗ trợ | Classification to ncnn: không được hỗ trợ | Classification to TFLite: không được hỗ trợ | Classification to CoreML: không được hỗ trợ | Classification to Core AI: không được hỗ trợ |
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")model.export(format="onnx")Export setup lists format dependencies and loading exported artifacts.
Checkpoints
| Tệp | Giấy phép trọng số |
|---|---|
| Embeddings | |
| LibreVJEPA2h256-embed.pt | mit |
| LibreVJEPA2l256-embed.pt | mit |
| LibreVJEPA2g384-embed.pt | apache-2.0 |
| LibreVJEPA2g256-embed.pt | apache-2.0 |
| Classification | |
| LibreVJEPA2l256-cls-ssv2.pt | mit |
| LibreVJEPA2l256-cls-diving48.pt | mit |
| LibreVJEPA2g384-cls-diving48.pt | mit |
| LibreVJEPA2g384-cls-ssv2.pt | mit |
Mọi tệp ở trên hiện đều có trong tổ chức LibreYOLO và được tải xuống trong lần sử dụng đầu tiên.
Licensing
Hãy kiểm tra giấy phép trong repo Hugging Face của trọng số cụ thể mà bạn tải xuống. Mỗi checkpoint trong tổ chức LibreYOLO đều có giấy phép riêng và giấy phép có thể khác nhau trong cùng một họ. Repo đó là nguồn có thẩm quyền; phần tóm tắt dưới đây mô tả các điều khoản áp dụng khi trang này được kiểm chứng lần gần nhất.
Đây là phần mô tả các giấy phép liên quan, không phải tư vấn pháp lý. Nếu câu trả lời có ý nghĩa về mặt thương mại, hãy tự đọc các giấy phép và tham khảo cố vấn của riêng bạn.
- Công trình gốc
- V-JEPA 2, Meta AI
- Giấy phép thượng nguồn
- MIT; Apache-2.0 for giant encoder artifacts
- Nguồn thượng nguồn
- github.com/facebookresearch/vjepa2
- Mã nguồn LibreYOLO
- MIT
- Trọng số
- MIT; Apache-2.0 for giant encoder artifacts, được phát hành lại tại huggingface.co/LibreYOLO
- Diễn giải
- Licenses differ by artifact: the two giant encoder artifacts are Apache-2.0; the other mirrored encoders and classification probes are MIT.
