Perception Encoder

Perception Encoder maps images, text and finite video clips into a shared embedding space.

작업: classification, embeddings
설치: pip install "libreyolo[clip]"
지원 티어: 별도 티어, v1.6.0부터 지원. 자체 팩토리와 계약을 갖춘 별도의 제품 영역입니다.
업스트림: Meta AI의 Perception Encoder, Apache-2.0. 논문, 소스
라이선스: 코드 MIT, 가중치 Apache-2.0. 상업적 사용

Install

bash

pip install "libreyolo[clip]"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.set_classes(["person", "building"])result = model(SAMPLE_IMAGE)print(result.probs)

Set classes before zero-shot classification. Select task="embed" when loading for embeddings. Video embedding samples clip_frames=8 frames by default, averages their vectors and L2-normalizes the result. Training is not supported. Exported video graphs take direct runtime input.

Export

작업	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX: 지원함	Classification to TorchScript: 지원함	Classification to ExecuTorch: 지원함	Classification to TensorRT: 지원함	Classification to OpenVINO: 지원함	Classification to Paddle: 지원하지 않음	Classification to MNN: 지원하지 않음	Classification to RKNN: 지원하지 않음	Classification to ncnn: 지원하지 않음	Classification to TFLite: 지원하지 않음	Classification to CoreML: 지원하지 않음	Classification to Core AI: 지원하지 않음
Embeddings	Embeddings to ONNX: 지원함	Embeddings to TorchScript: 지원함	Embeddings to ExecuTorch: 지원함	Embeddings to TensorRT: 지원함	Embeddings to OpenVINO: 지원함	Embeddings to Paddle: 지원하지 않음	Embeddings to MNN: 지원하지 않음	Embeddings to RKNN: 지원하지 않음	Embeddings to ncnn: 지원하지 않음	Embeddings to TFLite: 지원하지 않음	Embeddings to CoreML: 지원하지 않음	Embeddings to Core AI: 지원하지 않음

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

파일	가중치 라이선스
Classification
LibrePEt16-cls.pt	apache-2.0
LibrePEs16-cls.pt	apache-2.0
LibrePEb16-cls.pt	apache-2.0
LibrePEl14-cls.pt	apache-2.0
LibrePEg14-cls.pt	apache-2.0

위의 모든 파일은 현재 LibreYOLO 조직에 있으며 처음 사용할 때 내려받습니다.

Licensing

내려받는 특정 가중치의 Hugging Face 저장소에서 라이선스를 확인하십시오. LibreYOLO 조직의 모든 체크포인트에는 라이선스가 있으며 한 계열 안에서도 항상 같지는 않습니다. 해당 저장소가 신뢰할 수 있는 기준입니다. 아래 요약은 이 페이지를 마지막으로 검증했을 때 적용된 내용을 설명합니다.

관련 라이선스에 관한 설명이며 법률 자문이 아닙니다. 상업적으로 중요한 사안이라면 라이선스를 직접 읽고 별도의 법률 자문을 받으십시오.

원작: Perception Encoder, Meta AI
업스트림 라이선스: Apache-2.0
업스트림 소스: github.com/facebookresearch/perception_models
LibreYOLO 코드: MIT
가중치: Apache-2.0, huggingface.co/LibreYOLO에 다시 게시됨
해석: The publisher declares Apache-2.0 for the encoder weights.

Citation

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv:2504.13181},
  year={2025}
}

raw.githubusercontent.com/facebookresearch/perception_models/main/README.md에 있는 저자의 인용 블록에서 복사했습니다.