Mask R-CNN

Mask R-CNN aggiunge a Faster R-CNN un ramo di maschere per regione, che predice una maschera di segmentazione insieme a ogni box che rileva. LibreYOLO include il port dell'implementazione di torchvision per il rilevamento e la segmentazione di istanze.

Task: detection, instance segmentation
Dimensioni: r50 at 800 px
Installa: pip install libreyolo
Livello di supporto: Solo inferenza, dalla v. Solo predizione, validazione ed esportazione. Le funzionalità di addestramento non si applicano.
Origine: Mask R-CNN di PyTorch, BSD-3-Clause. Articolo, sorgente
Licenze: Codice BSD-3-Clause, pesi BSD-3-Clause. Uso commerciale

Installazione

Mask R-CNN non richiede nessun extra opzionale. Tutto quello che importa è nell'installazione base.

bash

pip install libreyolo

Predizione

I pesi si scaricano da Hugging Face al primo utilizzo e restano in cache in locale.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMaskRCNNr50.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

CLI

libreyolo predict model=LibreMaskRCNNr50.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Solo box

from libreyolo import LibreYOLO, SAMPLE_IMAGE # task="detect" salta la testa delle maschere e restituisce i box dallo# stesso checkpoint, senza maschere nel risultato.model = LibreYOLO("LibreMaskRCNNr50.pt", task="detect")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

L'oggetto Results restituito è lo stesso che restituisce ogni famiglia, quindi passare a un rilevatore diverso è una modifica di una riga. Caricare il checkpoint senza l'argomento task restituisce le maschere di istanza, dato che la segmentazione è il task predefinito di questa famiglia; result.masks le porta quindi insieme ai box. Passare task="detect" carica gli stessi pesi senza la testa delle maschere e restituisce solo i box. conf e iou impostano le soglie di confidenza e di NMS; Mask R-CNN mantiene il suo passaggio di NMS upstream, a differenza di un rilevatore basato su query. Vedi predizione per sorgenti, streaming e gestione dei risultati.

Varianti

Un solo backbone: ResNet-50 con una feature pyramid, usando il builder v2 di Mask R-CNN di torchvision. Il checkpoint pubblicato ha una licenza BSD-3-Clause e serve entrambi i task di questa famiglia, quindi non c'è nessuna dimensione tra cui scegliere.

Validazione

val() restituisce un dizionario di chiavi metrics/. Con il task di segmentazione predefinito di questo checkpoint, la chiave metrics/mAP50-95 semplice contiene il punteggio delle maschere, e la stessa esecuzione riporta i box sotto il suffisso (B), quindi entrambi sono disponibili con un solo passaggio.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreMaskRCNNr50.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])      # maschereprint(metrics["metrics/mAP50-95(B)"])   # box

CLI

libreyolo val model=LibreMaskRCNNr50.pt data=my-dataset.yaml

Esportazione

Task	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Detection	Detection to ONNX: supportato	Detection to TorchScript: non supportato	Detection to ExecuTorch: non supportato	Detection to TensorRT: non supportato	Detection to OpenVINO: non supportato	Detection to Paddle: non supportato	Detection to MNN: non supportato	Detection to RKNN: non supportato	Detection to ncnn: non supportato	Detection to TFLite: non supportato	Detection to CoreML: non supportato	Detection to Core AI: non supportato
Instance segmentation	Instance segmentation to ONNX: supportato	Instance segmentation to TorchScript: non supportato	Instance segmentation to ExecuTorch: non supportato	Instance segmentation to TensorRT: non supportato	Instance segmentation to OpenVINO: non supportato	Instance segmentation to Paddle: non supportato	Instance segmentation to MNN: non supportato	Instance segmentation to RKNN: non supportato	Instance segmentation to ncnn: non supportato	Instance segmentation to TFLite: non supportato	Instance segmentation to CoreML: non supportato	Instance segmentation to Core AI: non supportato

Mask R-CNN esporta solo in ONNX, con dimensione del batch pari a 1. Il grafo esportato mantiene al suo interno i passaggi di resize e di incollaggio delle maschere upstream, quindi LibreYOLO forza dynamic=True indipendentemente da quello che viene passato, per mantenere il grafo valido con sorgenti non quadrate. Un file .onnx esportato si ricarica tramite LibreYOLO() in base al suffisso del file e restituisce lo stesso Results.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreMaskRCNNr50.pt")model.export(format="onnx", imgsz=800)

CLI

libreyolo export model=LibreMaskRCNNr50.pt format=onnx imgsz=800

Usare il file esportato

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory instrada in base al suffisso del file, quindi un artefatto# esportato si carica come qualsiasi checkpoint e restituisce lo stesso# oggetto Results.model = LibreYOLO("LibreMaskRCNNr50.onnx")result = model(SAMPLE_IMAGE) print(result.masks.data.shape)

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia. L'unico checkpoint qui sotto è elencato sotto detect, ma lo stesso file si carica anche per la segmentazione: non passare l'argomento task e restituirà le maschere per impostazione predefinita.

File	Ingresso (px)	Licenza dei pesi
Detection
LibreMaskRCNNr50.pt	800	bsd-3-clause

Oggi tutti i file elencati sopra sono presenti nell<link>organizzazione LibreYOLO</link> e vengono scaricati al primo utilizzo.

Licenza

Controlla la licenza nel repository Hugging Face degli specifici pesi che scarichi. Ogni checkpoint nell<link>organizzazione LibreYOLO</link> ne include una e non è sempre la stessa per tutta la famiglia. Quel repository è la fonte autorevole; il riepilogo seguente descrive le condizioni applicabili al momento dellultima verifica di questa pagina.

Questa è una descrizione delle licenze coinvolte, non una consulenza legale. Se la risposta è importante a fini commerciali, leggi personalmente le licenze e chiedi una consulenza indipendente.

Lavoro originale: Mask R-CNN, PyTorch
Licenza upstream: BSD-3-Clause
Sorgente upstream: github.com/pytorch/vision
Codice LibreYOLO: MIT
Pesi: BSD-3-Clause, ripubblicati su huggingface.co/LibreYOLO
Interpretazione: BSD-3-Clause is a permissive license, so this code can be used in commercial and closed-source products with no obligation on your own application code. It asks only that you keep the copyright notice and disclaimer with any copy you redistribute, and it carries no patent grant. The published checkpoint used for parity testing is not distributed in the LibreYOLO source tree: torchvision's own documentation notes that a pretrained model's terms may depend on its training data, so the Hugging Face mirror ships the BSD text on that implied basis and repeats the caveat rather than issuing an explicit checkpoint-specific grant.

Mask R-CNN è costruito come sottoclasse del wrapper di Faster R-CNN di LibreYOLO: condivide la stessa sorgente di torchvision e la stessa licenza BSD-3-Clause, e aggiunge il predittore di maschere e la testa RoI delle maschere dello stesso commit portato.