PIDNet

Установка

PIDNet не требует опциональных extra. Всё, что он импортирует, входит в базовую установку.

pip install libreyolo

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально. Суффикс -sem в имени файла обязателен для этого семейства.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePIDNets-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # (H, W) id классовprint(mask.classes)      # отсортированные id классов, присутствующих на изображении

libreyolo predict model=LibrePIDNets-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Семантическая сегментация возвращает по одному id класса на пиксель, а не рамки, поэтому result.semantic_mask хранит массив (H, W) в .data и список id классов, присутствующих на изображении, в .classes. conf, iou и max_det принимаются ради совместимости API, но ни на что не влияют: модель назначает класс каждому пикселю по argmax, без порога уверенности и без шага NMS. Про источники, стриминг и обработку результатов см. предсказание.

Варианты

Три размера, все с фиксированным входом 1024 px. Опубликованные чекпойнты — это конвертации официальных весов PIDNet на Cityscapes, 19 классов.

LibreYOLO не обучает PIDNet: train() вызывает NotImplementedError для этого семейства, и уровень поддержки выше помечает его как только инференс.

Валидация

val() возвращает metrics/mIoU и metrics/pixel_accuracy, измеренные на любом датасете в том формате, в котором вы обучали.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibrePIDNets-sem.pt data=my-dataset.yaml

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по расширению файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Экспорт перечисляет аргументы, которые принимает каждый формат.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibrePIDNets-sem.pt format=onnxlibreyolo export model=LibrePIDNets-sem.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по расширению файла, поэтому# экспортированный артефакт загружается как любой чекпойнт и# возвращает тот же объект Results.model = LibreYOLO("LibrePIDNets-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@misc{xu2022pidnet,
      title={PIDNet: A Real-time Semantic Segmentation Network Inspired from PID Controller}, 
      author={Jiacong Xu and Zixiang Xiong and Shankar P. Bhattacharyya},
      year={2022},
      eprint={2206.02066},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}