V-JEPA 2
V-JEPA 2 produces video embeddings and supports training an attentive classification probe.
- Tarefas
- embeddings, classification
- Tamanhos
- l256, h256, g256, g384 at 256 to 384 px
- Instalação
pip install libreyolo- Nível de suporte
- Compatível, desde a v1.6.0. Modelos treináveis complementares: mantidos verdes na CI, com recursos incorporados quando há oportunidade.
- Licenças
- Código MIT, pesos MIT; Apache-2.0 for giant encoder artifacts. Uso comercial
Install
pip install "libreyolo"Predict
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")result = model(SAMPLE_IMAGE)print(result.embeddings)tokens = model.embed_tokens(SAMPLE_IMAGE)print(tokens.shape)A still image is promoted to a clip. embed_tokens() returns (B, T, H, W, D) tokens; the public embedding normalizes their mean. Exported clip graphs require direct five-dimensional runtime input.
Train
Only the attentive probe and linear classifier train; the encoder stays frozen. Use the classification task and a video-manifest dataset. Defaults are 10 epochs, batch 2, learning rate 0.001 and workers 0. Full encoder fine-tuning and pretraining are not supported.
Dataset setup describes the required training data.
from libreyolo import LibreYOLO model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML (train/val manifests of '<video-path> <class-id>' lines).model.train(data="path/to/your/video_dataset.yaml", epochs=1, device="cpu", workers=0)Validate
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML; val() reads its val manifest of '<video-path> <class-id>' lines.metrics = model.val(data="path/to/your/video_dataset.yaml", workers=0)print(metrics)Use the dataset format for this task. Validation explains the dataset requirements and returned metrics.
Export
| Tarefa | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Embeddings | Embeddings to ONNX: compatível | Embeddings to TorchScript: compatível | Embeddings to ExecuTorch: compatível | Embeddings to TensorRT: compatível | Embeddings to OpenVINO: compatível | Embeddings to Paddle: incompatível | Embeddings to MNN: incompatível | Embeddings to RKNN: incompatível | Embeddings to ncnn: incompatível | Embeddings to TFLite: incompatível | Embeddings to CoreML: incompatível | Embeddings to Core AI: incompatível |
| Classification | Classification to ONNX: compatível | Classification to TorchScript: compatível | Classification to ExecuTorch: compatível | Classification to TensorRT: compatível | Classification to OpenVINO: compatível | Classification to Paddle: incompatível | Classification to MNN: incompatível | Classification to RKNN: incompatível | Classification to ncnn: incompatível | Classification to TFLite: incompatível | Classification to CoreML: incompatível | Classification to Core AI: incompatível |
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")model.export(format="onnx")Export setup lists format dependencies and loading exported artifacts.
Checkpoints
| Arquivo | Licença dos pesos |
|---|---|
| Embeddings | |
| LibreVJEPA2h256-embed.pt | mit |
| LibreVJEPA2l256-embed.pt | mit |
| LibreVJEPA2g384-embed.pt | apache-2.0 |
| LibreVJEPA2g256-embed.pt | apache-2.0 |
| Classification | |
| LibreVJEPA2l256-cls-ssv2.pt | mit |
| LibreVJEPA2l256-cls-diving48.pt | mit |
| LibreVJEPA2g384-cls-diving48.pt | mit |
| LibreVJEPA2g384-cls-ssv2.pt | mit |
Todos os arquivos acima existem hoje na organização LibreYOLO e são baixados no primeiro uso.
Licensing
Confira a licença no repositório do Hugging Face correspondente aos pesos que você baixar. Cada checkpoint na organização LibreYOLO tem uma licença, e ela nem sempre é a mesma em toda a família. Esse repositório é a fonte oficial. O resumo abaixo descreve o que se aplicava na última verificação desta página.
Esta é uma descrição das licenças envolvidas, não uma orientação jurídica. Se a resposta tiver importância comercial, leia as licenças e procure sua própria assessoria.
- Trabalho original
- V-JEPA 2, Meta AI
- Licença original
- MIT; Apache-2.0 for giant encoder artifacts
- Código-fonte original
- github.com/facebookresearch/vjepa2
- Código do LibreYOLO
- MIT
- Pesos
- MIT; Apache-2.0 for giant encoder artifacts, republicado em huggingface.co/LibreYOLO
- Interpretação
- Licenses differ by artifact: the two giant encoder artifacts are Apache-2.0; the other mirrored encoders and classification probes are MIT.
