SegFormer

Installazione

SegFormer non richiede nessun extra opzionale. Tutto ciò che importa è già nell'installazione di base.

pip install libreyolo

Predizione

I pesi vengono scaricati da Hugging Face al primo utilizzo e restano nella cache locale.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSegformerb0-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreSegformerb0-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask porta la mappa densa delle classi: .data è un tensore (H, W) di id di classe alla dimensione originale dell'immagine, e .classes elenca gli id di classe effettivamente presenti. result.boxes è None, perché non ci sono rilevamenti per singola istanza. conf e iou sono accettati per parità di API ma non cambiano l'output: il modello restituisce una classe per pixel, non rilevamenti per istanza da filtrare o deduplicare. Vedi predizione per sorgenti, streaming e gestione dei risultati.

Varianti

Sei taglie, da b0 a b5, che allargano e approfondiscono l'encoder Mix Transformer a ogni passo mantenendo lo stesso design della testa di decodifica fatta di soli MLP.

Addestramento

Per impostazione predefinita train() fa fine-tuning di un checkpoint pubblicato. Se invece non passi nessun model_path a LibreSegformer(...), il modello viene costruito con encoder e testa inizializzati a caso e addestrato da zero: è l'unica strada per ottenere pesi che non portano nessuna delle restrizioni non commerciali dei checkpoint preaddestrati (vedi Licenze).

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 imgsz=512 batch=8

from libreyolo.models.segformer.model import LibreSegformer # Senza model_path: init casuale, nessun download. L'unica via a pesi# liberi dalla clausola non commerciale dei checkpoint preaddestrati.model = LibreSegformer(size="b0", nb_classes=150)model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 device=0,1 batch=16

Se lo lasci ai valori predefiniti, il trainer segue la ricetta ADE20K del paper di SegFormer: AdamW con un learning rate base per il backbone e la testa di decodifica addestrata a 10x quel valore, weight decay ovunque tranne che sui LayerNorm e sulla convoluzione posizionale del Mix-FFN, e uno schedule a decadimento lineare con warmup. La convergenza per le taglie più grandi, da b3 a b5, non è stata validata end to end.

Vedi addestramento per dataset, augmentation, multi-GPU e logger.

Validazione

val() restituisce un dizionario di chiavi metrics/: mIoU e accuratezza per pixel, misurate su qualsiasi dataset nel formato con cui hai addestrato.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreSegformerb0-sem.pt data=my-dataset.yaml

Esportazione

Un artefatto esportato si ricarica con LibreYOLO() in base al suffisso del file, quindi un file .onnx o .engine si comporta come un checkpoint e restituisce lo stesso Results. Esportazione elenca gli argomenti accettati da ogni formato.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreSegformerb0-sem.pt format=onnx imgsz=512libreyolo export model=LibreSegformerb0-sem.pt format=tensorrt imgsz=512 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory smista in base al suffisso del file, quindi un artefatto# esportato si carica come un checkpoint qualsiasi e restituisce lo# stesso oggetto Results.model = LibreYOLO("LibreSegformerb0-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia.

Licenze

Citazione

@inproceedings{xie2021segformer,
  title={SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers},
  author={Xie, Enze and Wang, Wenhai and Yu, Zhiding and Anandkumar, Anima and Alvarez, Jose M and Luo, Ping},
  booktitle={Neural Information Processing Systems (NeurIPS)},
  year={2021}
}