Perception Encoder

Perception Encoder maps images, text and finite video clips into a shared embedding space.

Tarefas: classification, embeddings
Instalação: pip install "libreyolo[clip]"
Nível de suporte: Nível irmão, desde a v1.6.0. Uma superfície de produto separada, com sua própria fábrica e seu próprio contrato.
Origem: Perception Encoder por Meta AI, Apache-2.0. Artigo, código-fonte
Licenças: Código MIT, pesos Apache-2.0. Uso comercial

Install

bash

pip install "libreyolo[clip]"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.set_classes(["person", "building"])result = model(SAMPLE_IMAGE)print(result.probs)

Set classes before zero-shot classification. Select task="embed" when loading for embeddings. Video embedding samples clip_frames=8 frames by default, averages their vectors and L2-normalizes the result. Training is not supported. Exported video graphs take direct runtime input.

Export

Tarefa	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX: compatível	Classification to TorchScript: compatível	Classification to ExecuTorch: compatível	Classification to TensorRT: compatível	Classification to OpenVINO: compatível	Classification to Paddle: incompatível	Classification to MNN: incompatível	Classification to RKNN: incompatível	Classification to ncnn: incompatível	Classification to TFLite: incompatível	Classification to CoreML: incompatível	Classification to Core AI: incompatível
Embeddings	Embeddings to ONNX: compatível	Embeddings to TorchScript: compatível	Embeddings to ExecuTorch: compatível	Embeddings to TensorRT: compatível	Embeddings to OpenVINO: compatível	Embeddings to Paddle: incompatível	Embeddings to MNN: incompatível	Embeddings to RKNN: incompatível	Embeddings to ncnn: incompatível	Embeddings to TFLite: incompatível	Embeddings to CoreML: incompatível	Embeddings to Core AI: incompatível

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Arquivo	Licença dos pesos
Classification
LibrePEt16-cls.pt	apache-2.0
LibrePEs16-cls.pt	apache-2.0
LibrePEb16-cls.pt	apache-2.0
LibrePEl14-cls.pt	apache-2.0
LibrePEg14-cls.pt	apache-2.0

Todos os arquivos acima existem hoje na organização LibreYOLO e são baixados no primeiro uso.

Licensing

Confira a licença no repositório do Hugging Face correspondente aos pesos que você baixar. Cada checkpoint na organização LibreYOLO tem uma licença, e ela nem sempre é a mesma em toda a família. Esse repositório é a fonte oficial. O resumo abaixo descreve o que se aplicava na última verificação desta página.

Esta é uma descrição das licenças envolvidas, não uma orientação jurídica. Se a resposta tiver importância comercial, leia as licenças e procure sua própria assessoria.

Trabalho original: Perception Encoder, Meta AI
Licença original: Apache-2.0
Código-fonte original: github.com/facebookresearch/perception_models
Código do LibreYOLO: MIT
Pesos: Apache-2.0, republicado em huggingface.co/LibreYOLO
Interpretação: The publisher declares Apache-2.0 for the encoder weights.

Citation

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv:2504.13181},
  year={2025}
}

Copiado do bloco de citação dos autores em raw.githubusercontent.com/facebookresearch/perception_models/main/README.md.