EoMT

Instalasi

EoMT tidak memerlukan extra opsional. Semua yang diimpornya sudah ada di instalasi dasar.

pip install libreyolo

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali dipakai dan disimpan di cache lokal. Sufiks task pada nama berkas (-sem, -seg, -panoptic) menentukan task, dan LibreYOLO() menyimpulkannya dari nama berkas itu sehingga argumen task= tidak diperlukan.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEoMTl-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # (H, W) id kelasprint(mask.classes)      # id kelas yang ada di gambar, terurut

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Sufiks -seg pada nama berkas memilih task instance, jadi argumen# task tidak diperlukan di sini.model = LibreYOLO("LibreEoMTl-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.boxes.xyxy)print(result.masks.data.shape)

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEoMTl-panoptic.pt")result = model(SAMPLE_IMAGE, save=True) pan = result.panopticprint(pan.data.shape)       # (H, W) id segmenprint(pan.segments_info)    # [{"id": ..., "category_id": ...}, ...]

libreyolo predict model=LibreEoMTl-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Segmentasi semantik mengisi result.semantic_mask, yaitu array (H, W) berisi id kelas di .data. Segmentasi instance mengisi result.boxes dan result.masks, bentuk yang sama seperti yang dikembalikan family segmentasi lain. Segmentasi panoptik mengisi result.panoptic: peta id segmen (H, W) di .data, ditambah .segments_info, yaitu daftar dict {"id", "category_id"}, satu untuk setiap segmen. conf menyaring pemilihan query; iou tidak berpengaruh pada task semantik, karena task itu melakukan argmax per piksel tanpa langkah NMS. Lihat prediksi untuk sumber, streaming dan penanganan hasil.

Varian

Tiga ukuran encoder, s/b/l, semuanya bertumpu pada DINOv2. Checkpoint semantik dilatih pada ADE20K di 512 px; checkpoint instance dan panoptik dilatih pada COCO di 640 px, ditambah satu checkpoint instance kedua yang dilatih di 1280 px. Upstream hanya merilis bobot segmentasi instance DINOv2 pada ukuran l; s dan b dipublikasikan untuk semantik dan panoptik saja. Varian EoMT yang bertumpu pada DINOv3 ada di upstream, tetapi tidak disertakan di sini karena bergantung pada bobot DINOv3 non-komersial yang aksesnya dibatasi.

LibreYOLO tidak melatih EoMT: train() memunculkan NotImplementedError untuk family ini, dan tingkat dukungan di atas menandainya sebagai inferensi saja.

Validasi

val() memilih jalur sesuai task. Semantik mengembalikan metrics/mIoU dan metrics/pixel_accuracy. Segmentasi instance mengembalikan kunci mAP mask dan box yang sama seperti family segmentasi lain. Panoptik mengembalikan Panoptic Quality sebagai metrics/PQ, yang dipecah menjadi metrics/SQ (segmentation quality) dan metrics/RQ (recognition quality), ditambah metrics/PQ_things dan metrics/PQ_stuff.

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # maskprint(metrics["metrics/mAP50-95(B)"])   # box

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-panoptic.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/PQ"])print(metrics["metrics/SQ"], metrics["metrics/RQ"])

libreyolo val model=LibreEoMTl-sem.pt data=my-dataset.yaml

Ekspor

Saat ini hanya task semantik yang bisa diekspor: segmentasi instance dan panoptik yang memanggil export() akan mendapat NotImplementedError, karena keluaran query-mask keduanya belum punya kontrak ekspor untuk runtime. Artefak semantik hasil ekspor dimuat kembali lewat LibreYOLO() berdasarkan sufiks berkasnya, jadi berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama.

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreEoMTl-sem.pt format=onnxlibreyolo export model=LibreEoMTl-sem.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory memilih rute berdasarkan sufiks berkas, jadi artefak hasil# ekspor dimuat seperti checkpoint biasa dan mengembalikan objek# Results yang sama.model = LibreYOLO("LibreEoMTl-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@inproceedings{kerssies2025eomt,
  author    = {Kerssies, Tommie and Cavagnero, Niccol\`{o} and Hermans, Alexander and Norouzi, Narges and Averta, Giuseppe and Leibe, Bastian and Dubbelman, Gijs and {de Geus}, Daan},
  title     = {{Your ViT is Secretly an Image Segmentation Model}},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year      = {2025},
}