Perception Encoder

Perception Encoder maps images, text and finite video clips into a shared embedding space.

Задачи: classification, embeddings
Установка: pip install "libreyolo[clip]"
Уровень поддержки: Смежный уровень, начиная с v1.6.0. Отдельная часть продукта со своей фабрикой и контрактом.
Исходный проект: Perception Encoder от Meta AI, Apache-2.0. Статья, исходный код
Лицензии: Код: MIT, веса: Apache-2.0. Коммерческое использование

Install

bash

pip install "libreyolo[clip]"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.set_classes(["person", "building"])result = model(SAMPLE_IMAGE)print(result.probs)

Set classes before zero-shot classification. Select task="embed" when loading for embeddings. Video embedding samples clip_frames=8 frames by default, averages their vectors and L2-normalizes the result. Training is not supported. Exported video graphs take direct runtime input.

Export

Задача	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX: поддерживается	Classification to TorchScript: поддерживается	Classification to ExecuTorch: поддерживается	Classification to TensorRT: поддерживается	Classification to OpenVINO: поддерживается	Classification to Paddle: не поддерживается	Classification to MNN: не поддерживается	Classification to RKNN: не поддерживается	Classification to ncnn: не поддерживается	Classification to TFLite: не поддерживается	Classification to CoreML: не поддерживается	Classification to Core AI: не поддерживается
Embeddings	Embeddings to ONNX: поддерживается	Embeddings to TorchScript: поддерживается	Embeddings to ExecuTorch: поддерживается	Embeddings to TensorRT: поддерживается	Embeddings to OpenVINO: поддерживается	Embeddings to Paddle: не поддерживается	Embeddings to MNN: не поддерживается	Embeddings to RKNN: не поддерживается	Embeddings to ncnn: не поддерживается	Embeddings to TFLite: не поддерживается	Embeddings to CoreML: не поддерживается	Embeddings to Core AI: не поддерживается

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Файл	Лицензия весов
Classification
LibrePEt16-cls.pt	apache-2.0
LibrePEs16-cls.pt	apache-2.0
LibrePEb16-cls.pt	apache-2.0
LibrePEl14-cls.pt	apache-2.0
LibrePEg14-cls.pt	apache-2.0

Все перечисленные выше файлы уже доступны в организации LibreYOLO и скачиваются при первом использовании.

Licensing

Проверяйте лицензию в репозитории конкретных весов на Hugging Face. Она указана для каждого чекпойнта в организации LibreYOLO и может различаться даже внутри одного семейства. Этот репозиторий считается авторитетным источником, а сводка ниже описывает условия на момент последней проверки страницы.

Это описание соответствующих лицензий, а не юридическая консультация. Если ответ важен для коммерческого использования, прочитайте лицензии самостоятельно и проконсультируйтесь с юристом.

Оригинальная работа: Perception Encoder, Meta AI
Лицензия исходного проекта: Apache-2.0
Исходный код проекта: github.com/facebookresearch/perception_models
Код LibreYOLO: MIT
Веса: Apache-2.0, повторно опубликованы на huggingface.co/LibreYOLO
Толкование: The publisher declares Apache-2.0 for the encoder weights.

Citation

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv:2504.13181},
  year={2025}
}

Скопировано из блока цитирования авторов на странице raw.githubusercontent.com/facebookresearch/perception_models/main/README.md.