SegFormer

Instalacja

SegFormer nie wymaga opcjonalnych dodatków. Wszystkie importowane przez niego elementy znajdują się w instalacji podstawowej.

pip install libreyolo

Predykcja

Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane w lokalnej pamięci podręcznej.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSegformerb0-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreSegformerb0-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask zawiera gęstą mapę klas: .data to tensor (H, W) z identyfikatorami klas w oryginalnym rozmiarze obrazu, a .classes zawiera identyfikatory klas rzeczywiście obecnych na obrazie. result.boxes ma wartość None, ponieważ nie ma detekcji poszczególnych instancji. Parametry conf i iou są przyjmowane dla zgodności API, ale nie zmieniają wyniku: model zwraca jedną klasę na piksel, a nie detekcje instancji wymagające filtrowania lub usuwania duplikatów. Informacje o źródłach, strumieniowaniu i obsłudze wyników znajdziesz w sekcji predykcja.

Warianty

Dostępnych jest sześć rozmiarów, od b0 do b5. Każdy kolejny poszerza i pogłębia enkoder Mix Transformer, zachowując tę samą konstrukcję dekodera opartą wyłącznie na MLP.

Trenowanie

Metoda train() domyślnie dostraja opublikowany punkt kontrolny. Zamiast tego wywołaj LibreSegformer(...) bez model_path, aby zbudować model z losowo zainicjalizowanym enkoderem i głowicą oraz trenować go od podstaw. Jest to jedyna droga do wag nieobjętych niekomercyjnym ograniczeniem wstępnie wytrenowanych punktów kontrolnych (zobacz Licencjonowanie).

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 imgsz=512 batch=8

from libreyolo.models.segformer.model import LibreSegformer # Brak model_path oznacza losową inicjalizację bez pobierania. To jedyna# droga do wag wolnych od niekomercyjnych warunków wstępnie wytrenowanych punktów kontrolnych.model = LibreSegformer(size="b0", nb_classes=150)model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 device=0,1 batch=16

Przy ustawieniach domyślnych trener stosuje konfigurację ADE20K z publikacji SegFormer: AdamW z podstawową szybkością uczenia dla backbone i głowicą dekodera trenowaną z szybkością 10 razy większą, zanik wag wszędzie poza LayerNorm i konwolucją pozycyjną Mix-FFN oraz liniowy harmonogram zaniku z rozgrzewką. Zbieżność większych rozmiarów, od b3 do b5, nie została zweryfikowana kompleksowo.

Informacje o zbiorach danych, augmentacji, wielu GPU i loggerach znajdziesz w sekcji trenowanie.

Walidacja

Metoda val() zwraca słownik kluczy metrics/: mIoU i dokładność pikselową, mierzone na dowolnym zbiorze danych w formacie użytym do trenowania.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreSegformerb0-sem.pt data=my-dataset.yaml

Eksport

Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak punkt kontrolny i zwraca ten sam obiekt Results. Sekcja eksport zawiera argumenty akceptowane przez każdy format.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreSegformerb0-sem.pt format=onnx imgsz=512libreyolo export model=LibreSegformerb0-sem.pt format=tensorrt imgsz=512 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, dlatego# artefakt ładuje się jak punkt kontrolny i zwraca ten sam obiekt Results.model = LibreYOLO("LibreSegformerb0-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Punkty kontrolne

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencjonowanie

Cytowanie

@inproceedings{xie2021segformer,
  title={SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers},
  author={Xie, Enze and Wang, Wenhai and Yu, Zhiding and Anandkumar, Anima and Alvarez, Jose M and Luo, Ping},
  booktitle={Neural Information Processing Systems (NeurIPS)},
  year={2021}
}