SegFormer

Instalación

SegFormer no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

pip install libreyolo

Predicción

Los pesos se descargan de Hugging Face en el primer uso y se guardan en la caché local.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSegformerb0-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreSegformerb0-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask lleva el mapa denso de clases: .data es un tensor (H, W) de ids de clase al tamaño original de la imagen, y .classes enumera los ids de clase realmente presentes. result.boxes es None, ya que no hay detecciones por instancia. conf e iou se aceptan por paridad de API pero no cambian la salida: el modelo devuelve una clase por píxel, no detecciones por instancia que filtrar o deduplicar. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Seis tamaños, de b0 a b5, que ensanchan y profundizan el encoder Mix Transformer en cada paso manteniendo el mismo diseño de cabeza de decodificación all-MLP.

Entrenamiento

train() hace fine-tuning de un checkpoint publicado por defecto. Si en su lugar no le pasas ningún model_path a LibreSegformer(...), el modelo se construye con el encoder y la cabeza inicializados al azar y entrena desde cero, la única vía a pesos que no arrastran ninguna restricción no comercial de los checkpoints preentrenados (consulta Licencia).

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 imgsz=512 batch=8

from libreyolo.models.segformer.model import LibreSegformer # Sin model_path: inicialización aleatoria, no se descarga nada. La única# vía a pesos libres del término no comercial de los checkpoints# preentrenados.model = LibreSegformer(size="b0", nb_classes=150)model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 device=0,1 batch=16

Si lo dejas como está, el trainer sigue la receta de ADE20K del paper de SegFormer: AdamW con un learning rate base para el backbone y la cabeza de decodificación entrenada a 10x esa tasa, weight decay en todas partes excepto en LayerNorm y en la convolución posicional del Mix-FFN, y un schedule de decaimiento lineal con warmup. La convergencia de los tamaños más grandes, de b3 a b5, no se ha validado de principio a fin.

Consulta entrenamiento para datasets, aumento de datos, multi-GPU y loggers.

Validación

val() devuelve un diccionario de claves metrics/: mIoU y precisión por píxel, medidos contra cualquier dataset en el formato con el que entrenaste.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreSegformerb0-sem.pt data=my-dataset.yaml

Exportación

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results. Exportación enumera los argumentos que acepta cada formato.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreSegformerb0-sem.pt format=onnx imgsz=512libreyolo export model=LibreSegformerb0-sem.pt format=tensorrt imgsz=512 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría enruta según la extensión del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo objeto# Results.model = LibreYOLO("LibreSegformerb0-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Licencia

Cita

@inproceedings{xie2021segformer,
  title={SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers},
  author={Xie, Enze and Wang, Wenhai and Yu, Zhiding and Anandkumar, Anima and Alvarez, Jose M and Luo, Ping},
  booktitle={Neural Information Processing Systems (NeurIPS)},
  year={2021}
}