Perception Encoder

Perception Encoder maps images, text and finite video clips into a shared embedding space.

Aufgaben: classification, embeddings
Installation: pip install "libreyolo[clip]"
Supportstufe: Geschwisterstufe, seit v1.6.0. Eine separate Produktoberfläche mit eigener Factory und eigenem Vertrag.
Upstream: Perception Encoder von Meta AI, Apache-2.0. Publikation, Quelle
Lizenzen: Code MIT, Gewichte Apache-2.0. Kommerzielle Nutzung

Install

bash

pip install "libreyolo[clip]"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.set_classes(["person", "building"])result = model(SAMPLE_IMAGE)print(result.probs)

Set classes before zero-shot classification. Select task="embed" when loading for embeddings. Video embedding samples clip_frames=8 frames by default, averages their vectors and L2-normalizes the result. Training is not supported. Exported video graphs take direct runtime input.

Export

Aufgabe	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX: unterstützt	Classification to TorchScript: unterstützt	Classification to ExecuTorch: unterstützt	Classification to TensorRT: unterstützt	Classification to OpenVINO: unterstützt	Classification to Paddle: nicht unterstützt	Classification to MNN: nicht unterstützt	Classification to RKNN: nicht unterstützt	Classification to ncnn: nicht unterstützt	Classification to TFLite: nicht unterstützt	Classification to CoreML: nicht unterstützt	Classification to Core AI: nicht unterstützt
Embeddings	Embeddings to ONNX: unterstützt	Embeddings to TorchScript: unterstützt	Embeddings to ExecuTorch: unterstützt	Embeddings to TensorRT: unterstützt	Embeddings to OpenVINO: unterstützt	Embeddings to Paddle: nicht unterstützt	Embeddings to MNN: nicht unterstützt	Embeddings to RKNN: nicht unterstützt	Embeddings to ncnn: nicht unterstützt	Embeddings to TFLite: nicht unterstützt	Embeddings to CoreML: nicht unterstützt	Embeddings to Core AI: nicht unterstützt

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Datei	Lizenz der Gewichte
Classification
LibrePEt16-cls.pt	apache-2.0
LibrePEs16-cls.pt	apache-2.0
LibrePEb16-cls.pt	apache-2.0
LibrePEl14-cls.pt	apache-2.0
LibrePEg14-cls.pt	apache-2.0

Jede oben aufgeführte Datei ist heute in der LibreYOLO-Organisation verfügbar und wird bei der ersten Verwendung heruntergeladen.

Licensing

Prüfe die Lizenz im Hugging-Face-Repository der konkreten Gewichte, die du herunterlädst. Jeder Checkpoint in der LibreYOLO-Organisation hat eine Lizenz, und sie ist innerhalb einer Familie nicht immer gleich. Dieses Repository ist die maßgebliche Quelle. Die Zusammenfassung unten beschreibt den Stand bei der letzten Verifizierung dieser Seite.

Dies ist eine Beschreibung der beteiligten Lizenzen und keine Rechtsberatung. Wenn die Antwort kommerziell relevant ist, lies die Lizenzen selbst und hole eigenen Rechtsrat ein.

Originalarbeit: Perception Encoder, Meta AI
Upstream-Lizenz: Apache-2.0
Upstream-Quelle: github.com/facebookresearch/perception_models
LibreYOLO-Code: MIT
Gewichte: Apache-2.0, erneut unter huggingface.co/LibreYOLO veröffentlicht
Einordnung: The publisher declares Apache-2.0 for the encoder weights.

Citation

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv:2504.13181},
  year={2025}
}

Aus dem Zitierblock der Autoren unter raw.githubusercontent.com/facebookresearch/perception_models/main/README.md kopiert.