Perception Encoder

Perception Encoder maps images, text and finite video clips into a shared embedding space.

Tareas: classification, embeddings
Instalación: pip install "libreyolo[clip]"
Nivel de compatibilidad: Nivel hermano, desde v1.6.0. Una superficie de producto independiente con su propia factoría y su propio contrato.
Proyecto original: Perception Encoder de Meta AI, Apache-2.0. Artículo, fuente
Licencias: Código MIT, pesos Apache-2.0. Uso comercial

Install

bash

pip install "libreyolo[clip]"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.set_classes(["person", "building"])result = model(SAMPLE_IMAGE)print(result.probs)

Set classes before zero-shot classification. Select task="embed" when loading for embeddings. Video embedding samples clip_frames=8 frames by default, averages their vectors and L2-normalizes the result. Training is not supported. Exported video graphs take direct runtime input.

Export

Tarea	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX: compatible	Classification to TorchScript: compatible	Classification to ExecuTorch: compatible	Classification to TensorRT: compatible	Classification to OpenVINO: compatible	Classification to Paddle: no compatible	Classification to MNN: no compatible	Classification to RKNN: no compatible	Classification to ncnn: no compatible	Classification to TFLite: no compatible	Classification to CoreML: no compatible	Classification to Core AI: no compatible
Embeddings	Embeddings to ONNX: compatible	Embeddings to TorchScript: compatible	Embeddings to ExecuTorch: compatible	Embeddings to TensorRT: compatible	Embeddings to OpenVINO: compatible	Embeddings to Paddle: no compatible	Embeddings to MNN: no compatible	Embeddings to RKNN: no compatible	Embeddings to ncnn: no compatible	Embeddings to TFLite: no compatible	Embeddings to CoreML: no compatible	Embeddings to Core AI: no compatible

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Archivo	Licencia de los pesos
Classification
LibrePEt16-cls.pt	apache-2.0
LibrePEs16-cls.pt	apache-2.0
LibrePEb16-cls.pt	apache-2.0
LibrePEl14-cls.pt	apache-2.0
LibrePEg14-cls.pt	apache-2.0

Todos los archivos anteriores existen hoy en la organización de LibreYOLO y se descargan la primera vez que se usan.

Licensing

Comprueba la licencia en el repositorio de Hugging Face de los pesos concretos que descargues. Cada checkpoint de la organización de LibreYOLO incluye una, y no siempre es la misma en toda una familia. Ese repositorio es la fuente autorizada; el resumen siguiente describe qué se aplicaba cuando se verificó esta página por última vez.

Esta es una descripción de las licencias implicadas, no asesoramiento legal. Si la respuesta es importante a nivel comercial, lee las licencias y busca tu propio asesoramiento.

Trabajo original: Perception Encoder, Meta AI
Licencia del proyecto original: Apache-2.0
Fuente del proyecto original: github.com/facebookresearch/perception_models
Código de LibreYOLO: MIT
Pesos: Apache-2.0, republicados en huggingface.co/LibreYOLO
Interpretación: The publisher declares Apache-2.0 for the encoder weights.

Citation

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv:2504.13181},
  year={2025}
}

Copiado del bloque de cita de los autores en raw.githubusercontent.com/facebookresearch/perception_models/main/README.md.