Perception Encoder

Perception Encoder maps images, text and finite video clips into a shared embedding space.

Задачі: classification, embeddings
Встановлення: pip install "libreyolo[clip]"
Рівень підтримки: Суміжний рівень, починаючи з v1.6.0. Окремий інтерфейс продукту з власною фабрикою та контрактом.
Першоджерело: Perception Encoder, автори: Meta AI, ліцензія Apache-2.0. Стаття, джерело
Ліцензії: Код: MIT, ваги: Apache-2.0. Комерційне використання

Install

bash

pip install "libreyolo[clip]"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.set_classes(["person", "building"])result = model(SAMPLE_IMAGE)print(result.probs)

Set classes before zero-shot classification. Select task="embed" when loading for embeddings. Video embedding samples clip_frames=8 frames by default, averages their vectors and L2-normalizes the result. Training is not supported. Exported video graphs take direct runtime input.

Export

Задача	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX: підтримується	Classification to TorchScript: підтримується	Classification to ExecuTorch: підтримується	Classification to TensorRT: підтримується	Classification to OpenVINO: підтримується	Classification to Paddle: не підтримується	Classification to MNN: не підтримується	Classification to RKNN: не підтримується	Classification to ncnn: не підтримується	Classification to TFLite: не підтримується	Classification to CoreML: не підтримується	Classification to Core AI: не підтримується
Embeddings	Embeddings to ONNX: підтримується	Embeddings to TorchScript: підтримується	Embeddings to ExecuTorch: підтримується	Embeddings to TensorRT: підтримується	Embeddings to OpenVINO: підтримується	Embeddings to Paddle: не підтримується	Embeddings to MNN: не підтримується	Embeddings to RKNN: не підтримується	Embeddings to ncnn: не підтримується	Embeddings to TFLite: не підтримується	Embeddings to CoreML: не підтримується	Embeddings to Core AI: не підтримується

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePEt16-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Файл	Ліцензія ваг
Classification
LibrePEt16-cls.pt	apache-2.0
LibrePEs16-cls.pt	apache-2.0
LibrePEb16-cls.pt	apache-2.0
LibrePEl14-cls.pt	apache-2.0
LibrePEg14-cls.pt	apache-2.0

Кожен наведений вище файл уже доступний у організації LibreYOLO і завантажується під час першого використання.

Licensing

Перевіряйте ліцензію в репозиторії Hugging Face конкретних ваг, які завантажуєте. Кожна контрольна точка в організації LibreYOLO має ліцензію, і вона не завжди однакова для всього сімейства. Цей репозиторій є авторитетним джерелом, а наведене нижче резюме описує умови на момент останньої перевірки сторінки.

Це опис відповідних ліцензій, а не юридична консультація. Якщо відповідь має комерційне значення, самостійно прочитайте ліцензії та зверніться по юридичну консультацію.

Оригінальна робота: Perception Encoder, Meta AI
Ліцензія першоджерела: Apache-2.0
Джерело першоджерела: github.com/facebookresearch/perception_models
Код LibreYOLO: MIT
Ваги: Apache-2.0, повторно опубліковано на huggingface.co/LibreYOLO
Тлумачення: The publisher declares Apache-2.0 for the encoder weights.

Citation

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv:2504.13181},
  year={2025}
}

Скопійовано з блоку цитування авторів на сторінці raw.githubusercontent.com/facebookresearch/perception_models/main/README.md.