Perception Encoder

Perception Encoder maps images, text and finite video clips into a shared embedding space.

Tâches: classification, embeddings
Installer: pip install "libreyolo[clip]"
Niveau de support: Niveau parallèle, depuis v1.6.0. Une interface produit distincte avec sa propre factory et son propre contrat.
Origine: Perception Encoder par Meta AI, Apache-2.0. Article, source
Licences: Code MIT, poids Apache-2.0. Usage commercial

Install

bash

pip install "libreyolo[clip]"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.set_classes(["person", "building"])result = model(SAMPLE_IMAGE)print(result.probs)

Set classes before zero-shot classification. Select task="embed" when loading for embeddings. Video embedding samples clip_frames=8 frames by default, averages their vectors and L2-normalizes the result. Training is not supported. Exported video graphs take direct runtime input.

Export

Tâche	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX : pris en charge	Classification to TorchScript : pris en charge	Classification to ExecuTorch : pris en charge	Classification to TensorRT : pris en charge	Classification to OpenVINO : pris en charge	Classification to Paddle : non pris en charge	Classification to MNN : non pris en charge	Classification to RKNN : non pris en charge	Classification to ncnn : non pris en charge	Classification to TFLite : non pris en charge	Classification to CoreML : non pris en charge	Classification to Core AI : non pris en charge
Embeddings	Embeddings to ONNX : pris en charge	Embeddings to TorchScript : pris en charge	Embeddings to ExecuTorch : pris en charge	Embeddings to TensorRT : pris en charge	Embeddings to OpenVINO : pris en charge	Embeddings to Paddle : non pris en charge	Embeddings to MNN : non pris en charge	Embeddings to RKNN : non pris en charge	Embeddings to ncnn : non pris en charge	Embeddings to TFLite : non pris en charge	Embeddings to CoreML : non pris en charge	Embeddings to Core AI : non pris en charge

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Fichier	Licence des poids
Classification
LibrePEt16-cls.pt	apache-2.0
LibrePEs16-cls.pt	apache-2.0
LibrePEb16-cls.pt	apache-2.0
LibrePEl14-cls.pt	apache-2.0
LibrePEg14-cls.pt	apache-2.0

Tous les fichiers ci-dessus sont actuellement disponibles dans l<link>organisation LibreYOLO</link> et sont téléchargés à la première utilisation.

Licensing

Vérifiez la licence dans le dépôt Hugging Face des poids précis que vous téléchargez. Chaque checkpoint de l<link>organisation LibreYOLO</link> en possède une, et elles ne sont pas toujours identiques au sein dune même famille. Ce dépôt fait autorité ; le résumé ci-dessous décrit les conditions applicables lors de la dernière vérification de cette page.

Ceci décrit les licences concernées et ne constitue pas un conseil juridique. Si la réponse a une importance commerciale, lisez vous-même les licences et consultez votre propre avocat.

Travail d'origine: Perception Encoder, Meta AI
Licence du projet d'origine: Apache-2.0
Source du projet d'origine: github.com/facebookresearch/perception_models
Code de LibreYOLO: MIT
Poids: Apache-2.0, republiés sur huggingface.co/LibreYOLO
Interprétation: The publisher declares Apache-2.0 for the encoder weights.

Citation

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv:2504.13181},
  year={2025}
}

Copié depuis le bloc de citation des auteurs sur raw.githubusercontent.com/facebookresearch/perception_models/main/README.md.