Swin Transformer

Installazione

Swin non richiede nessun extra opzionale. Tutto ciò che importa è già nell'installazione di base.

pip install libreyolo

Predizione

I pesi vengono scaricati da Hugging Face al primo utilizzo e restano nella cache locale.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSwint-cls.pt")result = model(SAMPLE_IMAGE, save=True) probs = result.probsprint(probs.top1, probs.top1conf)print(probs.top5, probs.top5conf)

libreyolo predict model=LibreSwint-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Un classificatore restituisce result.probs invece di result.boxes: top1 e top5 danno gli indici delle classi, top1conf e top5conf le rispettive confidenze. Ogni dimensione è fissata a un input di 224px, perché lo stadio finale di attenzione è costruito per quella risoluzione; predizione, validazione ed esportazione sollevano un errore se passi un imgsz diverso. Vedi predizione per sorgenti, streaming e gestione dei risultati.

Varianti

Quattro dimensioni, da tiny a large, costruite sulla stessa torre a finestre spostate e differenti per larghezza degli embedding e profondità degli stadi. La large è preaddestrata su ImageNet-22k e sottoposta a fine-tuning su ImageNet-1k; le altre tre sono addestrate direttamente su ImageNet-1k. LibreYOLO distribuisce questa famiglia solo per l'inferenza: predizione, validazione top-1/top-5 in stile ImageNet ed esportazione sono supportate, mentre la ricetta di addestramento ImageNet del progetto originale non è implementata.

Validazione

val() viene eseguito su uno split in stile ImageFolder (una cartella con sottocartelle train/ e val/, una cartella per classe) e restituisce l'accuratezza top-1 e top-5.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSwint-cls.pt") # data è la radice di una cartella con split train/ e val/ organizzati# in cartelle per classe (layout ImageFolder), non un YAML di dataset.metrics = model.val(data="imagenet-1k/") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreSwint-cls.pt data=imagenet-1k/

Esportazione

Un artefatto esportato si ricarica con LibreYOLO() in base al suffisso del file, quindi un file .onnx o .engine si comporta come un checkpoint e restituisce lo stesso Results. Esportazione elenca gli argomenti accettati da ogni formato e gli extra che alcuni di essi aggiungono.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSwint-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreSwint-cls.pt format=onnxlibreyolo export model=LibreSwint-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory smista in base al suffisso del file, quindi un artefatto# esportato si carica come qualsiasi checkpoint e restituisce lo stesso# oggetto Results.model = LibreYOLO("LibreSwint-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia.

Licenze

Citazione

@inproceedings{liu2021Swin,
  title={Swin Transformer: Hierarchical Vision Transformer using Shifted Windows},
  author={Liu, Ze and Lin, Yutong and Cao, Yue and Hu, Han and Wei, Yixuan and Zhang, Zheng and Lin, Stephen and Guo, Baining},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
  year={2021}
}