PIDNet

Трьохгілкова мережа семантичної сегментації додає окрему гілку меж до архітектури, натхненої пропорційно-інтегрально-диференціальним регулятором і розрахованої на інференс у реальному часі. LibreYOLO постачає її лише для семантичної сегментації.

Задачі: semantic
Розміри: s, m, l at 1024 px
Встановлення: pip install libreyolo
Рівень підтримки: Лише інференс, починаючи з v. Лише передбачення, валідація та експорт. Функції навчання не застосовуються.
Першоджерело: PIDNet, автори: Jiacong Xu, ліцензія MIT. Стаття, джерело
Ліцензії: Код: MIT, ваги: MIT. Комерційне використання

Встановлення

PIDNet не потребує додаткових залежностей. Усе, що вона імпортує, входить до базового встановлення.

bash

pip install libreyolo

Передбачення

Під час першого використання ваги завантажуються з Hugging Face і кешуються локально. Суфікс -sem у назві файлу обов'язковий для цього сімейства.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePIDNets-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # Ідентифікатори класів (H, W)print(mask.classes)      # Відсортовані ідентифікатори класів на зображенні

CLI

libreyolo predict model=LibrePIDNets-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Семантична сегментація повертає один ідентифікатор класу на піксель, а не рамки, тому result.semantic_mask містить масив (H, W) у .data і список наявних на зображенні ідентифікаторів класів у .classes. Параметри conf, iou і max_det приймаються для узгодженості API, але не впливають на результат: модель призначає клас кожному пікселю за argmax без порога впевненості чи етапу NMS. Типи джерел, потокове передбачення та обробку результатів описано в розділі передбачення.

Варіанти

Доступні три розміри, усі з фіксованим входом 1024 px. Опубліковані контрольні точки є перетвореннями офіційних ваг PIDNet для Cityscapes із 19 класами.

LibreYOLO не навчає PIDNet: train() спричиняє NotImplementedError для цього сімейства, яке рівень підтримки вище позначає як призначене лише для інференсу.

Валідація

val() повертає metrics/mIoU і metrics/pixel_accuracy, виміряні на будь-якому датасеті у форматі, на якому проводилося навчання.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

CLI

libreyolo val model=LibrePIDNets-sem.pt data=my-dataset.yaml

Експорт

Задача	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
semantic	semantic to ONNX: підтримується	semantic to TorchScript: підтримується	semantic to ExecuTorch: підтримується	semantic to TensorRT: підтримується	semantic to OpenVINO: підтримується	semantic to Paddle: не підтримується	semantic to MNN: не підтримується	semantic to RKNN: не підтримується	semantic to ncnn: підтримується	semantic to TFLite: підтримується	semantic to CoreML: не підтримується	semantic to Core AI: підтримується

Експортований артефакт знову завантажується через LibreYOLO() відповідно до суфікса файлу, тому файл .onnx або .engine поводиться як контрольна точка й повертає той самий об'єкт Results. У розділі експорту наведено аргументи, які приймає кожен формат.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

CLI

libreyolo export model=LibrePIDNets-sem.pt format=onnxlibreyolo export model=LibrePIDNets-sem.pt format=tensorrt half=True

Використання експортованого файлу

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика маршрутизує за суфіксом файлу, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibrePIDNets-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Контрольні точки

Усі опубліковані файли ваг цього сімейства.

Файл	Вхід (пікс.)	Ліцензія ваг
semantic
LibrePIDNets-sem.pt	1024	mit
LibrePIDNetm-sem.pt	1024	mit
LibrePIDNetl-sem.pt	1024	mit

Кожен наведений вище файл уже доступний у організації LibreYOLO і завантажується під час першого використання.

Ліцензування

Перевіряйте ліцензію в репозиторії Hugging Face конкретних ваг, які завантажуєте. Кожна контрольна точка в організації LibreYOLO має ліцензію, і вона не завжди однакова для всього сімейства. Цей репозиторій є авторитетним джерелом, а наведене нижче резюме описує умови на момент останньої перевірки сторінки.

Це опис відповідних ліцензій, а не юридична консультація. Якщо відповідь має комерційне значення, самостійно прочитайте ліцензії та зверніться по юридичну консультацію.

Оригінальна робота: PIDNet, Jiacong Xu
Ліцензія першоджерела: MIT
Джерело першоджерела: github.com/XuJiacong/PIDNet
Код LibreYOLO: MIT
Ваги: MIT, повторно опубліковано на huggingface.co/LibreYOLO
Тлумачення: MIT is a permissive license, so this code and these weights can be used in commercial and closed-source products. It asks only that you keep the copyright and license notice with any copy you redistribute. LibreYOLO's checkpoints are conversions of the official PIDNet Cityscapes weights, which upstream licenses as MIT. The Cityscapes dataset itself carries separate research-oriented terms and is not redistributed by LibreYOLO.

Цитування

@misc{xu2022pidnet,
      title={PIDNet: A Real-time Semantic Segmentation Network Inspired from PID Controller}, 
      author={Jiacong Xu and Zixiang Xiong and Shankar P. Bhattacharyya},
      year={2022},
      eprint={2206.02066},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Скопійовано з блоку цитування авторів на сторінці github.com/XuJiacong/PIDNet#bibtex-citation.