SegFormer

Установлення

SegFormer не потребує додаткових компонентів. Усе, що він імпортує, входить до базового встановлення.

pip install libreyolo

Передбачення

Під час першого використання ваги завантажуються з Hugging Face і кешуються локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSegformerb0-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreSegformerb0-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask містить щільну карту класів: .data є тензором (H, W) з ідентифікаторами класів у початковому розмірі зображення, а .classes перелічує ідентифікатори класів, які фактично присутні. Значення result.boxes дорівнює None, оскільки виявлень для окремих екземплярів немає. Аргументи conf та iou приймаються задля узгодженості API, але не змінюють вивід: модель повертає один клас на піксель, а не виявлення окремих екземплярів, які потрібно фільтрувати чи дедуплікувати. Докладніше про джерела, потокове оброблення та роботу з результатами дивіться в розділі передбачення.

Варіанти

Шість розмірів, від b0 до b5, на кожному кроці розширюють і поглиблюють кодувальник Mix Transformer, зберігаючи однакову конструкцію all-MLP голови декодування.

Навчання

Типово train() донавчає опубліковану контрольну точку. Натомість не передавайте model_path до LibreSegformer(...), щоб створити модель із випадково ініціалізованими кодувальником і головою та навчати її з нуля. Це єдиний спосіб отримати ваги без обмеження некомерційного використання попередньо навчених контрольних точок (дивіться Ліцензування).

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 imgsz=512 batch=8

from libreyolo.models.segformer.model import LibreSegformer # Без model_path: випадкова ініціалізація, нічого не завантажується. Це єдиний шлях# до ваг без обмеження некомерційного використання попередньо навчених контрольних точок.model = LibreSegformer(size="b0", nb_classes=150)model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 device=0,1 batch=16

Якщо параметри не змінювати, засіб навчання дотримується рецепта ADE20K зі статті про SegFormer: AdamW із базовою швидкістю навчання для бекбона, голова декодування навчається зі швидкістю, більшою в 10 разів, спад ваг застосовується всюди, крім LayerNorm і позиційної згортки Mix-FFN, а також використовується лінійний розклад спаду з прогріванням. Збіжність для більших розмірів, від b3 до b5, не валідовано від початку до кінця.

Докладніше про датасети, аугментацію, кілька GPU та засоби журналювання дивіться в розділі навчання.

Валідація

val() повертає словник ключів metrics/: mIoU та правильність за пікселями, виміряні на будь-якому датасеті у форматі, на якому проводилося навчання.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreSegformerb0-sem.pt data=my-dataset.yaml

Експорт

Експортований артефакт завантажується назад через LibreYOLO() за суфіксом файла, тому файл .onnx або .engine поводиться як контрольна точка й повертає той самий об'єкт Results. У розділі Експорт наведено аргументи, які приймає кожен формат.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreSegformerb0-sem.pt format=onnx imgsz=512libreyolo export model=LibreSegformerb0-sem.pt format=tensorrt imgsz=512 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика визначає маршрут за суфіксом файла, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibreSegformerb0-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Контрольні точки

Усі опубліковані файли ваг цього сімейства.

Ліцензування

Цитування

@inproceedings{xie2021segformer,
  title={SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers},
  author={Xie, Enze and Wang, Wenhai and Yu, Zhiding and Anandkumar, Anima and Alvarez, Jose M and Luo, Ping},
  booktitle={Neural Information Processing Systems (NeurIPS)},
  year={2021}
}