EoMT

Instalacja

EoMT nie wymaga żadnego opcjonalnego dodatku. Wszystkie importowane elementy znajdują się w instalacji podstawowej.

pip install libreyolo

Predykcja

Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane w lokalnej pamięci podręcznej. Sufiks zadania w nazwie pliku (-sem, -seg, -panoptic) wybiera zadanie, a LibreYOLO() wnioskuje je z tej nazwy, więc argument task= nie jest potrzebny.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEoMTl-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # (H, W), identyfikatory klasprint(mask.classes)      # posortowane identyfikatory klas obecnych na obrazie

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Sufiks -seg w nazwie pliku wybiera zadanie segmentacji instancji,# dlatego nie trzeba podawać argumentu zadania.model = LibreYOLO("LibreEoMTl-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.boxes.xyxy)print(result.masks.data.shape)

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEoMTl-panoptic.pt")result = model(SAMPLE_IMAGE, save=True) pan = result.panopticprint(pan.data.shape)       # (H, W), identyfikatory segmentówprint(pan.segments_info)    # [{"id": ..., "category_id": ...}, ...]

libreyolo predict model=LibreEoMTl-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Segmentacja semantyczna wypełnia result.semantic_mask, czyli tablicę identyfikatorów klas (H, W) w polu .data. Segmentacja instancji wypełnia result.boxes i result.masks o takim samym kształcie, jaki zwracają inne rodziny segmentacji. Segmentacja panoptyczna wypełnia result.panoptic: mapę identyfikatorów segmentów (H, W) w polu .data oraz .segments_info, listę słowników {"id", "category_id"}, po jednym na segment. Argument conf filtruje wybór zapytań. iou nie ma wpływu na zadanie semantyczne, ponieważ wybiera ono argmax dla każdego piksela bez etapu NMS. Więcej informacji o źródłach, streamingu i obsłudze wyników zawiera strona predykcji.

Warianty

Dostępne są trzy rozmiary enkodera, s/b/l, wszystkie z backbone DINOv2. Checkpoint semantyczny wytrenowano na ADE20K przy 512 px, a checkpointy instancji i panoptyczny na COCO przy 640 px. Drugi checkpoint instancji wytrenowano przy 1280 px. Projekt źródłowy publikuje wagi segmentacji instancji z DINOv2 tylko w rozmiarze l. Rozmiary s i b są dostępne wyłącznie dla segmentacji semantycznej i panoptycznej. Warianty EoMT z backbone DINOv3 istnieją w projekcie źródłowym, ale nie są tu udostępniane, ponieważ zależą od kontrolowanych, niekomercyjnych wag DINOv3.

LibreYOLO nie trenuje EoMT: train() zgłasza NotImplementedError dla tej rodziny, którą powyższy poziom obsługi oznacza jako przeznaczoną wyłącznie do inferencji.

Walidacja

val() wybiera ścieżkę według zadania. Segmentacja semantyczna zwraca metrics/mIoU i metrics/pixel_accuracy. Segmentacja instancji zwraca te same klucze mAP masek i ramek co inne rodziny segmentacji. Segmentacja panoptyczna zwraca Panoptic Quality jako metrics/PQ, podzielone na metrics/SQ (jakość segmentacji) i metrics/RQ (jakość rozpoznawania), a także metrics/PQ_things i metrics/PQ_stuff.

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # maskiprint(metrics["metrics/mAP50-95(B)"])   # ramki

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-panoptic.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/PQ"])print(metrics["metrics/SQ"], metrics["metrics/RQ"])

libreyolo val model=LibreEoMTl-sem.pt data=my-dataset.yaml

Eksport

Obecnie eksportowane jest tylko zadanie semantyczne. Wywołanie export() dla segmentacji instancji lub panoptycznej zgłasza NotImplementedError, ponieważ ich wyjście zapytań i masek nie ma jeszcze kontraktu eksportu środowiska uruchomieniowego. Wyeksportowany artefakt semantyczny jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak checkpoint i zwraca ten sam obiekt Results.

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreEoMTl-sem.pt format=onnxlibreyolo export model=LibreEoMTl-sem.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, więc wyeksportowany artefakt# ładuje się jak każdy checkpoint i zwraca ten sam obiekt Results.model = LibreYOLO("LibreEoMTl-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencja

Cytowanie

@inproceedings{kerssies2025eomt,
  author    = {Kerssies, Tommie and Cavagnero, Niccol\`{o} and Hermans, Alexander and Norouzi, Narges and Averta, Giuseppe and Leibe, Bastian and Dubbelman, Gijs and {de Geus}, Daan},
  title     = {{Your ViT is Secretly an Image Segmentation Model}},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year      = {2025},
}