EoMT

Instalación

EoMT no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

pip install libreyolo

Predicción

Los pesos se descargan de Hugging Face en el primer uso y se guardan en la caché local. El sufijo de tarea del nombre del archivo (-sem, -seg, -panoptic) selecciona la tarea, y LibreYOLO() la deduce de ese nombre, así que no hace falta ningún argumento task=.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEoMTl-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape)   # (H, W) ids de claseprint(mask.classes)      # ids de clase presentes en la imagen, ordenados

from libreyolo import LibreYOLO, SAMPLE_IMAGE # El sufijo -seg del nombre del archivo selecciona la tarea de# instancias, así que aquí no hace falta ningún argumento task.model = LibreYOLO("LibreEoMTl-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.boxes.xyxy)print(result.masks.data.shape)

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEoMTl-panoptic.pt")result = model(SAMPLE_IMAGE, save=True) pan = result.panopticprint(pan.data.shape)       # (H, W) ids de segmentoprint(pan.segments_info)    # [{"id": ..., "category_id": ...}, ...]

libreyolo predict model=LibreEoMTl-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

La segmentación semántica rellena result.semantic_mask, un array (H, W) de ids de clase en .data. La segmentación de instancias rellena result.boxes y result.masks, con la misma forma que devuelve cualquier otra familia de segmentación. La segmentación panóptica rellena result.panoptic: un mapa de ids de segmento (H, W) en .data, más .segments_info, una lista de dicts {"id", "category_id"}, uno por segmento. conf filtra la selección de queries; iou no tiene ningún efecto en la tarea semántica, porque hace argmax por píxel sin paso de NMS. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Tres tamaños de encoder, s/b/l, todos basados en DINOv2. El checkpoint semántico está entrenado en ADE20K a 512 px; los checkpoints de instancias y panóptico están entrenados en COCO a 640 px, con un segundo checkpoint de instancias entrenado a 1280 px. Upstream solo publica pesos de segmentación de instancias con DINOv2 en el tamaño l; s y b se publican únicamente para semántica y panóptica. Existen variantes de EoMT basadas en DINOv3 en upstream, pero no se distribuyen aquí, porque dependen de pesos DINOv3 restringidos y no comerciales.

LibreYOLO no entrena EoMT: train() lanza NotImplementedError para esta familia, algo que el nivel de soporte de arriba marca como solo inferencia.

Validación

val() despacha según la tarea. La semántica devuelve metrics/mIoU y metrics/pixel_accuracy. La segmentación de instancias devuelve las mismas claves de mAP de máscaras y bounding boxes que las demás familias de segmentación. La panóptica devuelve la Panoptic Quality como metrics/PQ, dividida en metrics/SQ (calidad de segmentación) y metrics/RQ (calidad de reconocimiento), más metrics/PQ_things y metrics/PQ_stuff.

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # máscarasprint(metrics["metrics/mAP50-95(B)"])   # bounding boxes

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-panoptic.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/PQ"])print(metrics["metrics/SQ"], metrics["metrics/RQ"])

libreyolo val model=LibreEoMTl-sem.pt data=my-dataset.yaml

Exportación

Hoy por hoy solo se exporta la tarea semántica: la segmentación de instancias y la panóptica llaman a export() y reciben NotImplementedError, porque su salida de máscaras por query todavía no tiene un contrato de exportación en runtime. Un artefacto semántico exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results.

from libreyolo import LibreYOLO model = LibreYOLO("LibreEoMTl-sem.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreEoMTl-sem.pt format=onnxlibreyolo export model=LibreEoMTl-sem.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría enruta según la extensión del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo objeto# Results.model = LibreYOLO("LibreEoMTl-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Licencia

Cita

@inproceedings{kerssies2025eomt,
  author    = {Kerssies, Tommie and Cavagnero, Niccol\`{o} and Hermans, Alexander and Norouzi, Narges and Averta, Giuseppe and Leibe, Bastian and Dubbelman, Gijs and {de Geus}, Daan},
  title     = {{Your ViT is Secretly an Image Segmentation Model}},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year      = {2025},
}