V-JEPA 2

V-JEPA 2 produces video embeddings and supports training an attentive classification probe.

Задачи: embeddings, classification
Размеры: l256, h256, g256, g384 at 256 to 384 px
Установка: pip install libreyolo
Уровень поддержки: Поддерживаемый, начиная с v1.6.0. Дополнительные обучаемые модели: тесты CI поддерживаются в рабочем состоянии, а функции добавляются по возможности.
Лицензии: Код: MIT, веса: MIT; Apache-2.0 for giant encoder artifacts. Коммерческое использование

Install

bash

pip install "libreyolo"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")result = model(SAMPLE_IMAGE)print(result.embeddings)tokens = model.embed_tokens(SAMPLE_IMAGE)print(tokens.shape)

A still image is promoted to a clip. embed_tokens() returns (B, T, H, W, D) tokens; the public embedding normalizes their mean. Exported clip graphs require direct five-dimensional runtime input.

Train

Only the attentive probe and linear classifier train; the encoder stays frozen. Use the classification task and a video-manifest dataset. Defaults are 10 epochs, batch 2, learning rate 0.001 and workers 0. Full encoder fine-tuning and pretraining are not supported.

Dataset setup describes the required training data.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML (train/val manifests of '<video-path> <class-id>' lines).model.train(data="path/to/your/video_dataset.yaml", epochs=1, device="cpu", workers=0)

Validate

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-cls-ssv2.pt", device="cpu")# Replace with your video dataset YAML; val() reads its val manifest of '<video-path> <class-id>' lines.metrics = model.val(data="path/to/your/video_dataset.yaml", workers=0)print(metrics)

Use the dataset format for this task. Validation explains the dataset requirements and returned metrics.

Export

Задача	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Embeddings	Embeddings to ONNX: поддерживается	Embeddings to TorchScript: поддерживается	Embeddings to ExecuTorch: поддерживается	Embeddings to TensorRT: поддерживается	Embeddings to OpenVINO: поддерживается	Embeddings to Paddle: не поддерживается	Embeddings to MNN: не поддерживается	Embeddings to RKNN: не поддерживается	Embeddings to ncnn: не поддерживается	Embeddings to TFLite: не поддерживается	Embeddings to CoreML: не поддерживается	Embeddings to Core AI: не поддерживается
Classification	Classification to ONNX: поддерживается	Classification to TorchScript: поддерживается	Classification to ExecuTorch: поддерживается	Classification to TensorRT: поддерживается	Classification to OpenVINO: поддерживается	Classification to Paddle: не поддерживается	Classification to MNN: не поддерживается	Classification to RKNN: не поддерживается	Classification to ncnn: не поддерживается	Classification to TFLite: не поддерживается	Classification to CoreML: не поддерживается	Classification to Core AI: не поддерживается

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreVJEPA2l256-embed.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Файл	Лицензия весов
Embeddings
LibreVJEPA2h256-embed.pt	mit
LibreVJEPA2l256-embed.pt	mit
LibreVJEPA2g384-embed.pt	apache-2.0
LibreVJEPA2g256-embed.pt	apache-2.0
Classification
LibreVJEPA2l256-cls-ssv2.pt	mit
LibreVJEPA2l256-cls-diving48.pt	mit
LibreVJEPA2g384-cls-diving48.pt	mit
LibreVJEPA2g384-cls-ssv2.pt	mit

Все перечисленные выше файлы уже доступны в организации LibreYOLO и скачиваются при первом использовании.

Licensing

Проверяйте лицензию в репозитории конкретных весов на Hugging Face. Она указана для каждого чекпойнта в организации LibreYOLO и может различаться даже внутри одного семейства. Этот репозиторий считается авторитетным источником, а сводка ниже описывает условия на момент последней проверки страницы.

Это описание соответствующих лицензий, а не юридическая консультация. Если ответ важен для коммерческого использования, прочитайте лицензии самостоятельно и проконсультируйтесь с юристом.

Оригинальная работа: V-JEPA 2, Meta AI
Лицензия исходного проекта: MIT; Apache-2.0 for giant encoder artifacts
Исходный код проекта: github.com/facebookresearch/vjepa2
Код LibreYOLO: MIT
Веса: MIT; Apache-2.0 for giant encoder artifacts, повторно опубликованы на huggingface.co/LibreYOLO
Толкование: Licenses differ by artifact: the two giant encoder artifacts are Apache-2.0; the other mirrored encoders and classification probes are MIT.

Install

Predict

Train

Validate

Export

Checkpoints

Licensing

Архитектура V-JEPA 2