SegFormer

Installer

SegFormer ne nécessite aucun extra facultatif. Tous ses imports sont inclus dans l'installation de base.

pip install libreyolo

Prédire

Les poids sont téléchargés depuis Hugging Face à la première utilisation et mis en cache localement.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSegformerb0-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreSegformerb0-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask contient la carte de classes dense\u00a0: .data est un tenseur (H, W) d'identifiants de classe à la taille de l'image d'origine, et .classes énumère les identifiants de classe réellement présents. result.boxes vaut None, puisqu'il n'existe aucune détection par instance. conf et iou sont acceptés pour assurer la parité de l'API, mais ils ne modifient pas la sortie\u00a0: le modèle renvoie une classe par pixel et non des détections par instance à filtrer ou dédupliquer. Consultez la prédiction pour les sources, le streaming et la gestion des résultats.

Variantes

Six tailles, de b0 à b5, élargissent et approfondissent l'encodeur Mix Transformer à chaque étape tout en conservant la même conception de tête de décodage entièrement composée de MLP.

Entraîner

Par défaut, train() effectue le fine-tuning d'un checkpoint publié. Si vous ne transmettez aucun model_path à LibreSegformer(...), il construit au contraire un encodeur et une tête initialisés aléatoirement et les entraîne à partir de zéro. C'est la seule voie vers des poids dépourvus de la restriction non commerciale des checkpoints pré-entraînés (consultez la section Licence).

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 imgsz=512 batch=8

from libreyolo.models.segformer.model import LibreSegformer # Aucun model_path : initialisation aléatoire, aucun téléchargement. C'est la# seule voie vers des poids exempts de la clause non commerciale des checkpoints pré-entraînés.model = LibreSegformer(size="b0", nb_classes=150)model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 device=0,1 batch=16

Sans configuration supplémentaire, le trainer suit la recette ADE20K de l'article SegFormer\u00a0: AdamW au learning rate de base du backbone, une tête de décodage entraînée à un learning rate 10x supérieur, un weight decay partout sauf sur LayerNorm et la convolution positionnelle Mix-FFN, ainsi qu'un planning de décroissance linéaire avec warmup. La convergence des grandes tailles, de b3 à b5, n'a pas été validée de bout en bout.

Consultez l'entraînement pour les datasets, l'augmentation, le multi-GPU et les loggers.

Valider

val() renvoie un dictionnaire de clés metrics/\u00a0: mIoU et exactitude par pixel, mesurées sur tout dataset au format utilisé pour l'entraînement.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreSegformerb0-sem.pt data=my-dataset.yaml

Exporter

Un artefact exporté se recharge dans LibreYOLO() grâce au suffixe de son fichier. Un fichier .onnx ou .engine se comporte donc comme un checkpoint et renvoie les mêmes Results. La page Export énumère les arguments acceptés par chaque format.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreSegformerb0-sem.pt format=onnx imgsz=512libreyolo export model=LibreSegformerb0-sem.pt format=tensorrt imgsz=512 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La fabrique détermine le chemin selon le suffixe du fichier ; un artefact exporté se charge# donc comme tout checkpoint et renvoie le même objet Results.model = LibreYOLO("LibreSegformerb0-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoints

Tous les fichiers de poids publiés pour cette famille.

Licence

Citation

@inproceedings{xie2021segformer,
  title={SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers},
  author={Xie, Enze and Wang, Wenhai and Yu, Zhiding and Anandkumar, Anima and Alvarez, Jose M and Luo, Ping},
  booktitle={Neural Information Processing Systems (NeurIPS)},
  year={2021}
}