EoMT

Installation

EoMT benötigt kein optionales Zusatzpaket. Alle Importe sind in der Basisinstallation enthalten.

pip install libreyolo

Vorhersage

Die Gewichte werden bei der ersten Verwendung von Hugging Face heruntergeladen und lokal zwischengespeichert. Das Aufgabensuffix im Dateinamen (-sem, -seg, -panoptic) wählt die Aufgabe aus. LibreYOLO() leitet sie aus diesem Namen ab, sodass kein Argument task= erforderlich ist.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEoMTl-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # (H, W) Klassen-IDsprint(mask.classes)      # sortierte Klassen-IDs im Bild

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Das Suffix -seg im Dateinamen wählt die Instanzaufgabe aus,# daher ist hier kein task-Argument erforderlich.model = LibreYOLO("LibreEoMTl-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.boxes.xyxy)print(result.masks.data.shape)

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEoMTl-panoptic.pt")result = model(SAMPLE_IMAGE, save=True) pan = result.panopticprint(pan.data.shape)       # (H, W) Segment-IDsprint(pan.segments_info)    # [{"id": ..., "category_id": ...}, ...]

libreyolo predict model=LibreEoMTl-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Die semantische Segmentierung füllt result.semantic_mask, ein Array der Form (H, W) mit Klassen-IDs in .data. Die Instanzsegmentierung füllt result.boxes und result.masks in derselben Form wie jede andere Segmentierungsfamilie. Die panoptische Segmentierung füllt result.panoptic: eine Segment-ID-Karte der Form (H, W) in .data sowie .segments_info, eine Liste von Dictionaries der Form {"id", "category_id"}, eines pro Segment. conf filtert die Query-Auswahl. iou hat bei der semantischen Aufgabe keine Wirkung, weil sie pro Pixel ein Argmax ohne NMS-Schritt berechnet. Unter Vorhersage findest du Quellen, Streaming und die Verarbeitung von Ergebnissen.

Varianten

Es gibt drei Encoder-Größen s/b/l, alle mit DINOv2-Backbone. Der semantische Checkpoint wurde mit ADE20K bei 512 px trainiert. Die Instanz- und panoptischen Checkpoints wurden mit COCO bei 640 px trainiert. Ein zweiter Instanz-Checkpoint wurde bei 1280 px trainiert. Upstream veröffentlicht DINOv2-Gewichte für die Instanzsegmentierung nur in Größe l. Für die semantische und panoptische Segmentierung werden s und b veröffentlicht. Upstream bietet auch EoMT-Varianten mit DINOv3-Backbone an. Sie werden hier nicht ausgeliefert, weil sie von zugangsbeschränkten, nicht kommerziellen DINOv3-Gewichten abhängen.

LibreYOLO trainiert EoMT nicht: train() löst für diese Familie den Fehler NotImplementedError aus. Der oben verlinkte Support-Tier kennzeichnet sie daher als reine Inferenzfamilie.

Validierung

val() verzweigt nach Aufgabe. Die semantische Segmentierung gibt metrics/mIoU und metrics/pixel_accuracy zurück. Die Instanzsegmentierung gibt dieselben mAP-Schlüssel für Masken und Boxen wie andere Segmentierungsfamilien zurück. Die panoptische Segmentierung gibt Panoptic Quality als metrics/PQ zurück, aufgeteilt in metrics/SQ (Segmentierungsqualität) und metrics/RQ (Erkennungsqualität), sowie metrics/PQ_things und metrics/PQ_stuff.

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # Maskenprint(metrics["metrics/mAP50-95(B)"])   # Boxen

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-panoptic.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/PQ"])print(metrics["metrics/SQ"], metrics["metrics/RQ"])

libreyolo val model=LibreEoMTl-sem.pt data=my-dataset.yaml

Export

Derzeit lässt sich nur die semantische Aufgabe exportieren. Bei Instanz- und panoptischer Segmentierung löst export() den Fehler NotImplementedError aus, weil für ihre Query-Maskenausgabe noch kein Runtime-Exportvertrag besteht. Ein exportiertes semantisches Artefakt wird anhand seiner Dateiendung wieder über LibreYOLO() geladen. Eine .onnx- oder .engine-Datei verhält sich daher wie ein Checkpoint und gibt dasselbe Results-Objekt zurück.

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreEoMTl-sem.pt format=onnxlibreyolo export model=LibreEoMTl-sem.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Die Factory entscheidet anhand der Dateiendung, daher wird ein Exportartefakt# wie jeder Checkpoint geladen und gibt dasselbe Results-Objekt zurück.model = LibreYOLO("LibreEoMTl-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoints

Alle veröffentlichten Gewichtsdateien dieser Familie.

Lizenzierung

Zitieren

@inproceedings{kerssies2025eomt,
  author    = {Kerssies, Tommie and Cavagnero, Niccol\`{o} and Hermans, Alexander and Norouzi, Narges and Averta, Giuseppe and Leibe, Bastian and Dubbelman, Gijs and {de Geus}, Daan},
  title     = {{Your ViT is Secretly an Image Segmentation Model}},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year      = {2025},
}