ConvNeXt

Installazione

ConvNeXt non richiede nessun extra opzionale. Tutto ciò che importa è già nell'installazione di base.

pip install libreyolo

Il fine-tuning con adattatori tramite lora=True è l'eccezione, e richiede l'extra lora.

pip install "libreyolo[lora]"

Predizione

I pesi vengono scaricati da Hugging Face al primo utilizzo e restano nella cache locale.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtt-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreConvNeXtt-cls.pt source=cat.jpg save=True

L'oggetto Results restituito è lo stesso che restituisce ogni famiglia, quindi passare a un altro modello è una modifica di una riga. Un classificatore non porta con sé box né maschere: result.probs contiene la predizione sull'intera immagine, con top1, top5, top1conf e top5conf. conf, iou e max_det sono accettati per parità di API ma non hanno effetto, dato che su un singolo vettore di probabilità non c'è nulla da sogliare o sopprimere. Vedi predizione per sorgenti, streaming e gestione dei risultati.

Varianti

Tre dimensioni, tiny/small/base, tutte addestrate e valutate allo stesso modo, quindi sceglierne una è un semplice scambio tra numero di parametri e accuratezza. Il task è fisso: ogni dimensione copre solo la classificazione. Il nome del file dei pesi termina in -cls.pt per tutte le dimensioni, ed è quel suffisso che la factory legge per smistare verso questa famiglia; non serve nessun argomento task=.

Addestramento

Il fine-tuning parte dal backbone ImageNet pubblicato e ricostruisce automaticamente il layer finale del classificatore sul numero di classi del dataset di destinazione.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 epochs=5

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5, lora=True)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Se non tocchi nulla, il trainer esegue 100 epoche a lr0=1e-3 con AdamW, un batch di 64 ed early stopping dopo 50 epoche senza miglioramenti. data accetta la radice di un dataset (train/ e val/, una cartella per classe), un nome breve noto come imagenette160, oppure l'URL di un .zip. I blocchi di ConvNeXt contengono gli MLP nn.Linear di cui LoRA ha bisogno, quindi qui lora=True è supportato e inietta gli adattatori negli MLP dei blocchi invece di fare fine-tuning dell'intero backbone.

Vedi addestramento per dataset, data augmentation, multi-GPU e logger.

Validazione

val() restituisce un dizionario di chiavi metrics/. Per la classificazione sono l'accuratezza top-1 e top-5 sullo split di validazione.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreConvNeXtt-cls.pt data=imagenette160

Esportazione

Un artefatto esportato si ricarica con LibreYOLO() in base al suffisso del file, quindi un file .onnx o .engine si comporta come un checkpoint e restituisce lo stesso Results. Esportazione elenca gli argomenti accettati da ogni formato e gli extra che alcuni di essi aggiungono.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreConvNeXtt-cls.pt format=onnxlibreyolo export model=LibreConvNeXtt-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory smista in base al suffisso del file, quindi un artefatto# esportato si carica come qualsiasi checkpoint e restituisce lo stesso# oggetto Results.model = LibreYOLO("LibreConvNeXtt-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia.

Licenze

Citazione

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}