PIDNet

Instalação

O PIDNet não precisa de nenhum extra opcional. Tudo o que ele importa está na instalação base.

pip install libreyolo

Predição

Os pesos são baixados do Hugging Face no primeiro uso e ficam em cache local. O sufixo -sem no nome do arquivo é obrigatório para esta família.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePIDNets-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # (H, W) ids de classeprint(mask.classes)      # ids de classe presentes na imagem, ordenados

libreyolo predict model=LibrePIDNets-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

A segmentação semântica devolve um id de classe por pixel, não boxes, então result.semantic_mask traz um array (H, W) em .data e a lista de ids de classe presentes na imagem em .classes. conf, iou e max_det são aceitos por paridade de API, mas não têm efeito: o modelo atribui uma classe a cada pixel por argmax, sem limiar de confiança nem etapa de NMS. Veja predição para fontes, streaming e tratamento de resultados.

Variantes

Três tamanhos, todos com entrada fixa de 1024 px. Os checkpoints publicados são conversões dos pesos oficiais do PIDNet para o Cityscapes, com 19 classes.

O LibreYOLO não treina o PIDNet: train() levanta NotImplementedError para esta família, que o nível de suporte acima marca como somente inferência.

Validação

val() devolve metrics/mIoU e metrics/pixel_accuracy, medidos sobre qualquer dataset no formato em que você treinou.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibrePIDNets-sem.pt data=my-dataset.yaml

Exportação

Um artefato exportado é carregado de volta por LibreYOLO() pelo sufixo do arquivo, então um arquivo .onnx ou .engine se comporta como um checkpoint e devolve o mesmo Results. Exportação lista os argumentos que todo formato aceita.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePIDNets-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibrePIDNets-sem.pt format=onnxlibreyolo export model=LibrePIDNets-sem.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # A factory roteia pelo sufixo do arquivo, então um artefato exportado# carrega como qualquer checkpoint e devolve o mesmo objeto Results.model = LibreYOLO("LibrePIDNets-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoints

Todos os arquivos de pesos publicados desta família.

Licenciamento

Citação

@misc{xu2022pidnet,
      title={PIDNet: A Real-time Semantic Segmentation Network Inspired from PID Controller}, 
      author={Jiacong Xu and Zixiang Xiong and Shankar P. Bhattacharyya},
      year={2022},
      eprint={2206.02066},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}