V-JEPA 2
V-JEPA 2 produces video embeddings and supports training an attentive classification probe.
- Tâches
- embeddings, classification
- Tailles
- l256, h256, g256, g384 at 256 to 384 px
- Installer
pip install libreyolo- Niveau de support
- Pris en charge, depuis v1.6.0. Modèles entraînables complémentaires : maintenus au vert dans la CI, avec des fonctionnalités ajoutées selon les occasions.
- Licences
- Code MIT, poids MIT; Apache-2.0 for giant encoder artifacts. Usage commercial
Install
pip install "libreyolo"Predict
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")result = model(SAMPLE_IMAGE)print(result.embeddings)tokens = model.embed_tokens(SAMPLE_IMAGE)print(tokens.shape)A still image is promoted to a clip. embed_tokens() returns (B, T, H, W, D) tokens; the public embedding normalizes their mean. Exported clip graphs require direct five-dimensional runtime input.
Train
Only the attentive probe and linear classifier train; the encoder stays frozen. Use the classification task and a video-manifest dataset. Defaults are 10 epochs, batch 2, learning rate 0.001 and workers 0. Full encoder fine-tuning and pretraining are not supported.
Dataset setup describes the required training data.
from libreyolo import LibreYOLO model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML (train/val manifests of '<video-path> <class-id>' lines).model.train(data="path/to/your/video_dataset.yaml", epochs=1, device="cpu", workers=0)Validate
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML; val() reads its val manifest of '<video-path> <class-id>' lines.metrics = model.val(data="path/to/your/video_dataset.yaml", workers=0)print(metrics)Use the dataset format for this task. Validation explains the dataset requirements and returned metrics.
Export
| Tâche | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Embeddings | Embeddings to ONNX : pris en charge | Embeddings to TorchScript : pris en charge | Embeddings to ExecuTorch : pris en charge | Embeddings to TensorRT : pris en charge | Embeddings to OpenVINO : pris en charge | Embeddings to Paddle : non pris en charge | Embeddings to MNN : non pris en charge | Embeddings to RKNN : non pris en charge | Embeddings to ncnn : non pris en charge | Embeddings to TFLite : non pris en charge | Embeddings to CoreML : non pris en charge | Embeddings to Core AI : non pris en charge |
| Classification | Classification to ONNX : pris en charge | Classification to TorchScript : pris en charge | Classification to ExecuTorch : pris en charge | Classification to TensorRT : pris en charge | Classification to OpenVINO : pris en charge | Classification to Paddle : non pris en charge | Classification to MNN : non pris en charge | Classification to RKNN : non pris en charge | Classification to ncnn : non pris en charge | Classification to TFLite : non pris en charge | Classification to CoreML : non pris en charge | Classification to Core AI : non pris en charge |
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")model.export(format="onnx")Export setup lists format dependencies and loading exported artifacts.
Checkpoints
| Fichier | Licence des poids |
|---|---|
| Embeddings | |
| LibreVJEPA2h256-embed.pt | mit |
| LibreVJEPA2l256-embed.pt | mit |
| LibreVJEPA2g384-embed.pt | apache-2.0 |
| LibreVJEPA2g256-embed.pt | apache-2.0 |
| Classification | |
| LibreVJEPA2l256-cls-ssv2.pt | mit |
| LibreVJEPA2l256-cls-diving48.pt | mit |
| LibreVJEPA2g384-cls-diving48.pt | mit |
| LibreVJEPA2g384-cls-ssv2.pt | mit |
Tous les fichiers ci-dessus sont actuellement disponibles dans l<link>organisation LibreYOLO</link> et sont téléchargés à la première utilisation.
Licensing
Vérifiez la licence dans le dépôt Hugging Face des poids précis que vous téléchargez. Chaque checkpoint de l<link>organisation LibreYOLO</link> en possède une, et elles ne sont pas toujours identiques au sein dune même famille. Ce dépôt fait autorité ; le résumé ci-dessous décrit les conditions applicables lors de la dernière vérification de cette page.
Ceci décrit les licences concernées et ne constitue pas un conseil juridique. Si la réponse a une importance commerciale, lisez vous-même les licences et consultez votre propre avocat.
- Travail d'origine
- V-JEPA 2, Meta AI
- Licence du projet d'origine
- MIT; Apache-2.0 for giant encoder artifacts
- Source du projet d'origine
- github.com/facebookresearch/vjepa2
- Code de LibreYOLO
- MIT
- Poids
- MIT; Apache-2.0 for giant encoder artifacts, republiés sur huggingface.co/LibreYOLO
- Interprétation
- Licenses differ by artifact: the two giant encoder artifacts are Apache-2.0; the other mirrored encoders and classification probes are MIT.
