ConvNeXt

Installation

ConvNeXt ne demande aucun extra optionnel. Tout ce qu'il importe fait partie de l'installation de base.

pip install libreyolo

Le fine-tuning par adaptateurs avec lora=True fait exception et demande l'extra lora.

pip install "libreyolo[lora]"

Prédire

Les poids sont téléchargés depuis Hugging Face au premier usage, puis mis en cache localement.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtt-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreConvNeXtt-cls.pt source=cat.jpg save=True

L'objet Results renvoyé est celui que renvoie chaque famille, si bien que passer à un autre modèle tient en une ligne. Un classifieur ne porte ni boîtes ni masques : result.probs contient la prédiction sur l'image entière, avec top1, top5, top1conf et top5conf. conf, iou et max_det sont acceptés par parité d'API mais n'ont aucun effet, puisqu'il n'y a rien à seuiller ni à supprimer sur un simple vecteur de probabilités. Voir la prédiction pour les sources, le streaming et le traitement des résultats.

Variantes

Trois tailles, tiny/small/base, toutes entraînées et évaluées de la même manière : en choisir une revient donc à arbitrer directement entre nombre de paramètres et exactitude. La tâche est fixe : chaque taille ne couvre que la classification. Le nom du fichier de poids se termine par -cls.pt à toutes les tailles, et c'est ce suffixe que lit la factory pour router vers cette famille ; aucun argument task= n'est nécessaire.

Entraîner

Le fine-tuning part du backbone ImageNet publié et reconstruit automatiquement la couche de classification finale au nombre de classes du dataset cible.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 epochs=5

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5, lora=True)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Sans réglage particulier, l'entraînement fait 100 époques à lr0=1e-3 avec AdamW, un batch de 64 et un early stopping après 50 époques sans amélioration. data accepte une racine de dataset (train/ et val/, un dossier par classe), un nom court connu comme imagenette160, ou une URL .zip. Les blocs de ConvNeXt portent les MLP nn.Linear dont LoRA a besoin, donc lora=True est pris en charge ici, et injecte des adaptateurs dans les MLP des blocs plutôt que de faire du fine-tuning sur l'ensemble du backbone.

Voir l'entraînement pour les datasets, l'augmentation, le multi-GPU et les loggers.

Valider

val() renvoie un dictionnaire de clés metrics/. Pour la classification, il s'agit de l'exactitude top-1 et top-5 sur le split de validation.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreConvNeXtt-cls.pt data=imagenette160

Exporter

Un artefact exporté se recharge via LibreYOLO() selon son extension de fichier, si bien qu'un fichier .onnx ou .engine se comporte comme un checkpoint et renvoie le même Results. L'export liste les arguments que chaque format accepte, ainsi que les extras que quelques-uns ajoutent.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreConvNeXtt-cls.pt format=onnxlibreyolo export model=LibreConvNeXtt-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory s'appuie sur l'extension du fichier, donc un artefact# exporté se charge comme n'importe quel checkpoint et renvoie le# même objet Results.model = LibreYOLO("LibreConvNeXtt-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoints

Tous les fichiers de poids publiés de cette famille.

Licence

Citation

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}