PIDNet

비례-적분-미분에서 영감을 받은 설계에 전용 경계 브랜치를 추가한 3브랜치 의미 분할 네트워크로 실시간 추론을 목표로 합니다. LibreYOLO는 의미 분할 전용으로 PIDNet을 제공합니다.

작업: semantic
크기: s, m, l at 1024 px
설치: pip install libreyolo
지원 티어: 추론 전용, v부터 지원. 예측, 검증, 내보내기만 지원합니다. 학습 기능은 적용되지 않습니다.
업스트림: Jiacong Xu의 PIDNet, MIT. 논문, 소스
라이선스: 코드 MIT, 가중치 MIT. 상업적 사용

설치

PIDNet에는 선택적 extra가 필요하지 않습니다. 가져오는 모든 항목이 기본 설치에 포함됩니다.

bash

pip install libreyolo

예측

처음 사용할 때 Hugging Face에서 가중치를 다운로드해 로컬에 캐시합니다. 이 계열에는 -sem 파일명 접미사가 필요합니다.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePIDNets-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # (H, W) 클래스 IDprint(mask.classes)      # 이미지에 있는 클래스 ID 정렬 목록

CLI

libreyolo predict model=LibrePIDNets-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

의미 분할은 박스가 아니라 픽셀마다 클래스 ID 하나를 반환합니다. 따라서 result.semantic_mask의 .data에는 (H, W) 배열이, .classes에는 이미지에 있는 클래스 ID 목록이 들어 있습니다. conf, iou, max_det은 API 일관성을 위해 허용되지만 아무 효과가 없습니다. 모델은 신뢰도 임곗값이나 NMS 단계 없이 argmax로 모든 픽셀에 클래스를 할당합니다. 소스, 스트리밍, 결과 처리는 예측을 참조합니다.

변형

세 가지 크기 모두 고정된 1024 px 입력을 사용합니다. 공개된 체크포인트는 공식 PIDNet Cityscapes 가중치의 변환본이며 클래스는 19개입니다.

LibreYOLO는 PIDNet을 학습하지 않습니다. 이 계열에서 train()은 NotImplementedError를 발생시키며 위의 지원 티어에서는 이를 추론 전용으로 표시합니다.

검증

val()은 학습에 사용한 형식의 데이터셋을 대상으로 측정한 metrics/mIoU와 metrics/pixel_accuracy를 반환합니다.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

CLI

libreyolo val model=LibrePIDNets-sem.pt data=my-dataset.yaml

내보내기

작업	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
semantic	semantic to ONNX: 지원함	semantic to TorchScript: 지원함	semantic to ExecuTorch: 지원함	semantic to TensorRT: 지원함	semantic to OpenVINO: 지원함	semantic to Paddle: 지원하지 않음	semantic to MNN: 지원하지 않음	semantic to RKNN: 지원하지 않음	semantic to ncnn: 지원함	semantic to TFLite: 지원함	semantic to CoreML: 지원하지 않음	semantic to Core AI: 지원함

내보낸 아티팩트는 파일 접미사에 따라 LibreYOLO()로 다시 불러옵니다. 따라서 .onnx 또는 .engine 파일은 체크포인트처럼 동작하며 동일한 Results를 반환합니다. 각 형식이 받는 인수는 내보내기에 나와 있습니다.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

CLI

libreyolo export model=LibrePIDNets-sem.pt format=onnxlibreyolo export model=LibrePIDNets-sem.pt format=tensorrt half=True

내보낸 파일 사용

from libreyolo import LibreYOLO, SAMPLE_IMAGE # 팩토리는 파일 접미사에 따라 라우팅하므로 내보낸 아티팩트도# 다른 체크포인트처럼 불러와 동일한 Results 객체를 반환합니다.model = LibreYOLO("LibrePIDNets-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

체크포인트

이 계열에 공개된 모든 가중치 파일입니다.

파일	입력(px)	가중치 라이선스
semantic
LibrePIDNets-sem.pt	1024	mit
LibrePIDNetm-sem.pt	1024	mit
LibrePIDNetl-sem.pt	1024	mit

위의 모든 파일은 현재 LibreYOLO 조직에 있으며 처음 사용할 때 내려받습니다.

라이선스

내려받는 특정 가중치의 Hugging Face 저장소에서 라이선스를 확인하십시오. LibreYOLO 조직의 모든 체크포인트에는 라이선스가 있으며 한 계열 안에서도 항상 같지는 않습니다. 해당 저장소가 신뢰할 수 있는 기준입니다. 아래 요약은 이 페이지를 마지막으로 검증했을 때 적용된 내용을 설명합니다.

관련 라이선스에 관한 설명이며 법률 자문이 아닙니다. 상업적으로 중요한 사안이라면 라이선스를 직접 읽고 별도의 법률 자문을 받으십시오.

원작: PIDNet, Jiacong Xu
업스트림 라이선스: MIT
업스트림 소스: github.com/XuJiacong/PIDNet
LibreYOLO 코드: MIT
가중치: MIT, huggingface.co/LibreYOLO에 다시 게시됨
해석: MIT is a permissive license, so this code and these weights can be used in commercial and closed-source products. It asks only that you keep the copyright and license notice with any copy you redistribute. LibreYOLO's checkpoints are conversions of the official PIDNet Cityscapes weights, which upstream licenses as MIT. The Cityscapes dataset itself carries separate research-oriented terms and is not redistributed by LibreYOLO.

인용

@misc{xu2022pidnet,
      title={PIDNet: A Real-time Semantic Segmentation Network Inspired from PID Controller}, 
      author={Jiacong Xu and Zixiang Xiong and Shankar P. Bhattacharyya},
      year={2022},
      eprint={2206.02066},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

github.com/XuJiacong/PIDNet#bibtex-citation에 있는 저자의 인용 블록에서 복사했습니다.