V-JEPA 2
V-JEPA 2 produces video embeddings and supports training an attentive classification probe.
- Задачі
- embeddings, classification
- Розміри
- l256, h256, g256, g384 at 256 to 384 px
- Встановлення
pip install libreyolo- Рівень підтримки
- Підтримуваний, починаючи з v1.6.0. Додаткові придатні до навчання моделі: тести CI підтримують справними, а функції додають за нагоди.
- Ліцензії
- Код: MIT, ваги: MIT; Apache-2.0 for giant encoder artifacts. Комерційне використання
Install
pip install "libreyolo"Predict
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")result = model(SAMPLE_IMAGE)print(result.embeddings)tokens = model.embed_tokens(SAMPLE_IMAGE)print(tokens.shape)A still image is promoted to a clip. embed_tokens() returns (B, T, H, W, D) tokens; the public embedding normalizes their mean. Exported clip graphs require direct five-dimensional runtime input.
Train
Only the attentive probe and linear classifier train; the encoder stays frozen. Use the classification task and a video-manifest dataset. Defaults are 10 epochs, batch 2, learning rate 0.001 and workers 0. Full encoder fine-tuning and pretraining are not supported.
Dataset setup describes the required training data.
from libreyolo import LibreYOLO model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML (train/val manifests of '<video-path> <class-id>' lines).model.train(data="path/to/your/video_dataset.yaml", epochs=1, device="cpu", workers=0)Validate
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML; val() reads its val manifest of '<video-path> <class-id>' lines.metrics = model.val(data="path/to/your/video_dataset.yaml", workers=0)print(metrics)Use the dataset format for this task. Validation explains the dataset requirements and returned metrics.
Export
| Задача | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Embeddings | Embeddings to ONNX: підтримується | Embeddings to TorchScript: підтримується | Embeddings to ExecuTorch: підтримується | Embeddings to TensorRT: підтримується | Embeddings to OpenVINO: підтримується | Embeddings to Paddle: не підтримується | Embeddings to MNN: не підтримується | Embeddings to RKNN: не підтримується | Embeddings to ncnn: не підтримується | Embeddings to TFLite: не підтримується | Embeddings to CoreML: не підтримується | Embeddings to Core AI: не підтримується |
| Classification | Classification to ONNX: підтримується | Classification to TorchScript: підтримується | Classification to ExecuTorch: підтримується | Classification to TensorRT: підтримується | Classification to OpenVINO: підтримується | Classification to Paddle: не підтримується | Classification to MNN: не підтримується | Classification to RKNN: не підтримується | Classification to ncnn: не підтримується | Classification to TFLite: не підтримується | Classification to CoreML: не підтримується | Classification to Core AI: не підтримується |
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")model.export(format="onnx")Export setup lists format dependencies and loading exported artifacts.
Checkpoints
| Файл | Ліцензія ваг |
|---|---|
| Embeddings | |
| LibreVJEPA2h256-embed.pt | mit |
| LibreVJEPA2l256-embed.pt | mit |
| LibreVJEPA2g384-embed.pt | apache-2.0 |
| LibreVJEPA2g256-embed.pt | apache-2.0 |
| Classification | |
| LibreVJEPA2l256-cls-ssv2.pt | mit |
| LibreVJEPA2l256-cls-diving48.pt | mit |
| LibreVJEPA2g384-cls-diving48.pt | mit |
| LibreVJEPA2g384-cls-ssv2.pt | mit |
Кожен наведений вище файл уже доступний у організації LibreYOLO і завантажується під час першого використання.
Licensing
Перевіряйте ліцензію в репозиторії Hugging Face конкретних ваг, які завантажуєте. Кожна контрольна точка в організації LibreYOLO має ліцензію, і вона не завжди однакова для всього сімейства. Цей репозиторій є авторитетним джерелом, а наведене нижче резюме описує умови на момент останньої перевірки сторінки.
Це опис відповідних ліцензій, а не юридична консультація. Якщо відповідь має комерційне значення, самостійно прочитайте ліцензії та зверніться по юридичну консультацію.
- Оригінальна робота
- V-JEPA 2, Meta AI
- Ліцензія першоджерела
- MIT; Apache-2.0 for giant encoder artifacts
- Джерело першоджерела
- github.com/facebookresearch/vjepa2
- Код LibreYOLO
- MIT
- Ваги
- MIT; Apache-2.0 for giant encoder artifacts, повторно опубліковано на huggingface.co/LibreYOLO
- Тлумачення
- Licenses differ by artifact: the two giant encoder artifacts are Apache-2.0; the other mirrored encoders and classification probes are MIT.
