SegFormer

Instalasi

SegFormer tidak memerlukan komponen tambahan opsional. Semua impornya tersedia dalam instalasi dasar.

pip install libreyolo

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali digunakan dan disimpan dalam cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSegformerb0-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreSegformerb0-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask menyimpan peta kelas padat: .data adalah tensor (H, W) berisi id kelas pada ukuran gambar asli, sedangkan .classes mencantumkan id kelas yang benar-benar ada. result.boxes adalah None karena tidak ada deteksi per instance. conf dan iou diterima demi kesetaraan API tetapi tidak mengubah output: model mengembalikan satu kelas per piksel, bukan deteksi per instance yang perlu difilter atau dihilangkan duplikasinya. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.

Varian

Enam ukuran, b0 hingga b5, yang memperlebar dan memperdalam encoder Mix Transformer pada setiap tahap sambil mempertahankan desain decode head all-MLP yang sama.

Pelatihan

Secara default, train() melakukan fine-tuning pada checkpoint yang dipublikasikan. Sebagai gantinya, jangan berikan model_path ke LibreSegformer(...) agar model dibuat dengan encoder dan head yang diinisialisasi secara acak serta dilatih dari nol. Ini adalah satu-satunya jalur menuju bobot yang tidak memiliki pembatasan nonkomersial checkpoint pretrained (lihat Lisensi).

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 imgsz=512 batch=8

from libreyolo.models.segformer.model import LibreSegformer # Tanpa model_path: inisialisasi acak, tidak ada yang diunduh. Ini satu-satunya jalur# menuju bobot yang bebas dari ketentuan nonkomersial checkpoint pretrained.model = LibreSegformer(size="b0", nb_classes=150)model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 device=0,1 batch=16

Jika dibiarkan, pelatih mengikuti resep ADE20K dari makalah SegFormer: AdamW pada learning rate dasar backbone dengan decode head dilatih pada 10x laju tersebut, weight decay di semua bagian kecuali LayerNorm dan konvolusi posisi Mix-FFN, serta jadwal decay linear dengan warmup. Konvergensi untuk ukuran lebih besar, b3 hingga b5, belum divalidasi secara end-to-end.

Lihat pelatihan untuk dataset, augmentasi, multi-GPU, dan logger.

Validasi

val() mengembalikan dictionary dengan key metrics/: mIoU dan akurasi piksel, yang diukur terhadap dataset apa pun dalam format yang digunakan untuk pelatihan.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreSegformerb0-sem.pt data=my-dataset.yaml

Ekspor

Artefak hasil ekspor dimuat kembali melalui LibreYOLO() berdasarkan sufiks berkasnya, sehingga berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama. Ekspor mencantumkan argumen yang diterima setiap format.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreSegformerb0-sem.pt format=onnx imgsz=512libreyolo export model=LibreSegformerb0-sem.pt format=tensorrt imgsz=512 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory merutekan berdasarkan sufiks berkas, sehingga artefak hasil ekspor# dimuat seperti checkpoint lain dan mengembalikan objek Results yang sama.model = LibreYOLO("LibreSegformerb0-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoint

Setiap berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@inproceedings{xie2021segformer,
  title={SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers},
  author={Xie, Enze and Wang, Wenhai and Yu, Zhiding and Anandkumar, Anima and Alvarez, Jose M and Luo, Ping},
  booktitle={Neural Information Processing Systems (NeurIPS)},
  year={2021}
}