ConvNeXt

Instalação

O ConvNeXt não precisa de nenhum extra opcional. Tudo o que ele importa está na instalação base.

pip install libreyolo

O fine-tuning com adaptadores via lora=True é a exceção, e precisa do extra lora.

pip install "libreyolo[lora]"

Predição

Os pesos são baixados do Hugging Face no primeiro uso e ficam em cache local.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtt-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreConvNeXtt-cls.pt source=cat.jpg save=True

O objeto Results devolvido é o mesmo que todas as famílias devolvem, então trocar por outro modelo é uma mudança de uma linha. Um classificador não carrega boxes nem máscaras: result.probs guarda a predição da imagem inteira, com top1, top5, top1conf e top5conf. conf, iou e max_det são aceitos por paridade de API, mas não têm efeito, já que não há nada para limiarizar ou suprimir em um único vetor de probabilidades. Veja predição para fontes, streaming e tratamento de resultados.

Variantes

Três tamanhos, tiny/small/base, todos treinados e avaliados da mesma forma, então escolher um é uma troca direta entre número de parâmetros e acurácia. A tarefa é fixa: todos os tamanhos cobrem apenas classificação. O nome do arquivo de pesos termina em -cls.pt em todos os tamanhos, e é esse sufixo que a factory lê para rotear para esta família; nenhum argumento task= é necessário.

Treinamento

O fine-tuning parte do backbone de ImageNet publicado e reconstrói automaticamente a camada final do classificador para o número de classes do dataset alvo.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 epochs=5

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5, lora=True)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Sem mexer em nada, o trainer roda 100 épocas com lr0=1e-3 e AdamW, um batch de 64 e early stopping após 50 épocas sem melhora. data aceita a raiz de um dataset (train/ e val/, uma pasta por classe), um nome curto conhecido como imagenette160, ou uma URL de .zip. Os blocos do ConvNeXt carregam os MLPs nn.Linear de que o LoRA precisa, então lora=True é suportado aqui, e injeta adaptadores nos MLPs dos blocos em vez de fazer fine-tuning do backbone completo.

Veja treinamento para datasets, data augmentation, multi-GPU e loggers.

Validação

val() devolve um dicionário de chaves metrics/. Para classificação, são a acurácia top-1 e top-5 sobre o split de validação.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreConvNeXtt-cls.pt data=imagenette160

Exportação

Um artefato exportado é carregado de volta pelo LibreYOLO() a partir da extensão do arquivo, então um arquivo .onnx ou .engine se comporta como um checkpoint e devolve o mesmo Results. Exportação lista os argumentos que todo formato aceita e os extras que alguns deles acrescentam.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreConvNeXtt-cls.pt format=onnxlibreyolo export model=LibreConvNeXtt-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # A factory decide pela extensão do arquivo, então um artefato exportado# carrega como qualquer checkpoint e devolve o mesmo objeto Results.model = LibreYOLO("LibreConvNeXtt-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoints

Todos os arquivos de pesos publicados desta família.

Licenciamento

Citação

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}