SegFormer

Установка

SegFormer не требует опциональных extra. Всё, что он импортирует, входит в базовую установку.

pip install libreyolo

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSegformerb0-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreSegformerb0-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask хранит плотную карту классов: .data — это тензор (H, W) с id классов в исходном размере изображения, а .classes перечисляет id классов, которые реально присутствуют. result.boxes равен None, потому что отдельных детекций по экземплярам здесь нет. conf и iou принимаются ради совместимости API, но на вывод не влияют: модель возвращает по одному классу на пиксель, а не детекции по экземплярам, которые нужно фильтровать или очищать от дубликатов. Про источники, стриминг и обработку результатов см. предсказание.

Варианты

Шесть размеров, от b0 до b5: на каждом шаге энкодер Mix Transformer становится шире и глубже, а устройство декодирующей головы из одних MLP остаётся тем же.

Обучение

По умолчанию train() дообучает опубликованный чекпойнт. Если же не передавать model_path в LibreSegformer(...), модель собирается со случайно инициализированными энкодером и головой и обучается с нуля — это единственный способ получить веса, на которые не распространяется некоммерческое ограничение предобученных чекпойнтов (см. Лицензирование).

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 imgsz=512 batch=8

from libreyolo.models.segformer.model import LibreSegformer # Без model_path: случайная инициализация, ничего не скачивается.# Единственный способ получить веса без некоммерческого условия# предобученных чекпойнтов.model = LibreSegformer(size="b0", nb_classes=150)model.train(data="my-dataset.yaml", epochs=160, imgsz=512, batch=8)

libreyolo train model=LibreSegformerb0-sem.pt data=my-dataset.yaml \  epochs=160 device=0,1 batch=16

Если ничего не менять, обучение идёт по рецепту ADE20K из статьи о SegFormer: AdamW с базовой скоростью обучения для бэкбона и в 10 раз большей для декодирующей головы, weight decay везде, кроме LayerNorm и позиционной свёртки Mix-FFN, и линейно затухающий планировщик с прогревом. Сходимость для больших размеров, от b3 до b5, не проверялась от начала до конца.

Про датасеты, аугментацию, multi-GPU и логгеры см. обучение.

Валидация

val() возвращает словарь с ключами metrics/: mIoU и pixel accuracy, измеренные на любом датасете в том формате, в котором вы обучали.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreSegformerb0-sem.pt data=my-dataset.yaml

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по расширению файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Экспорт перечисляет аргументы, которые принимает каждый формат.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSegformerb0-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreSegformerb0-sem.pt format=onnx imgsz=512libreyolo export model=LibreSegformerb0-sem.pt format=tensorrt imgsz=512 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по расширению файла, поэтому# экспортированный артефакт загружается как любой чекпойнт и# возвращает тот же объект Results.model = LibreYOLO("LibreSegformerb0-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@inproceedings{xie2021segformer,
  title={SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers},
  author={Xie, Enze and Wang, Wenhai and Yu, Zhiding and Anandkumar, Anima and Alvarez, Jose M and Luo, Ping},
  booktitle={Neural Information Processing Systems (NeurIPS)},
  year={2021}
}