Perception Encoder

Perception Encoder maps images, text and finite video clips into a shared embedding space.

Task: classification, embeddings
Instalasi: pip install "libreyolo[clip]"
Tier dukungan: Tier sejajar, sejak v1.6.0. Permukaan produk terpisah dengan factory dan kontraknya sendiri.
Proyek upstream: Perception Encoder oleh Meta AI, Apache-2.0. Makalah, sumber
Lisensi: Kode MIT, bobot Apache-2.0. Penggunaan komersial

Install

bash

pip install "libreyolo[clip]"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.set_classes(["person", "building"])result = model(SAMPLE_IMAGE)print(result.probs)

Set classes before zero-shot classification. Select task="embed" when loading for embeddings. Video embedding samples clip_frames=8 frames by default, averages their vectors and L2-normalizes the result. Training is not supported. Exported video graphs take direct runtime input.

Export

Task	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX: didukung	Classification to TorchScript: didukung	Classification to ExecuTorch: didukung	Classification to TensorRT: didukung	Classification to OpenVINO: didukung	Classification to Paddle: tidak didukung	Classification to MNN: tidak didukung	Classification to RKNN: tidak didukung	Classification to ncnn: tidak didukung	Classification to TFLite: tidak didukung	Classification to CoreML: tidak didukung	Classification to Core AI: tidak didukung
Embeddings	Embeddings to ONNX: didukung	Embeddings to TorchScript: didukung	Embeddings to ExecuTorch: didukung	Embeddings to TensorRT: didukung	Embeddings to OpenVINO: didukung	Embeddings to Paddle: tidak didukung	Embeddings to MNN: tidak didukung	Embeddings to RKNN: tidak didukung	Embeddings to ncnn: tidak didukung	Embeddings to TFLite: tidak didukung	Embeddings to CoreML: tidak didukung	Embeddings to Core AI: tidak didukung

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Berkas	Lisensi bobot
Classification
LibrePEt16-cls.pt	apache-2.0
LibrePEs16-cls.pt	apache-2.0
LibrePEb16-cls.pt	apache-2.0
LibrePEl14-cls.pt	apache-2.0
LibrePEg14-cls.pt	apache-2.0

Setiap berkas di atas saat ini tersedia di organisasi LibreYOLO dan diunduh saat pertama kali digunakan.

Licensing

Periksa lisensi di repositori Hugging Face untuk bobot tertentu yang diunduh. Setiap checkpoint di organisasi LibreYOLO memiliki lisensi, dan lisensinya tidak selalu sama dalam satu family. Repositori tersebut adalah sumber resmi. Ringkasan di bawah menjelaskan ketentuan yang berlaku saat halaman ini terakhir diverifikasi.

Ini adalah deskripsi lisensi yang terlibat, bukan nasihat hukum. Jika jawabannya penting secara komersial, baca sendiri lisensinya dan mintalah nasihat dari penasihat hukum Anda.

Karya asli: Perception Encoder, Meta AI
Lisensi upstream: Apache-2.0
Sumber upstream: github.com/facebookresearch/perception_models
Kode LibreYOLO: MIT
Bobot: Apache-2.0, dipublikasikan ulang di huggingface.co/LibreYOLO
Interpretasi: The publisher declares Apache-2.0 for the encoder weights.

Citation

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv:2504.13181},
  year={2025}
}

Disalin dari blok sitasi penulis di raw.githubusercontent.com/facebookresearch/perception_models/main/README.md.