ConvNeXt

Instalación

ConvNeXt no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

pip install libreyolo

El fine-tuning con adaptadores mediante lora=True es la excepción, y necesita el extra lora.

pip install "libreyolo[lora]"

Predicción

Los pesos se descargan de Hugging Face en el primer uso y se guardan en la caché local.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtt-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreConvNeXtt-cls.pt source=cat.jpg save=True

El objeto Results devuelto es el mismo que devuelven todas las familias, así que cambiar a otro modelo es un cambio de una línea. Un clasificador no lleva cajas ni máscaras: result.probs contiene la predicción de la imagen completa, con top1, top5, top1conf y top5conf. conf, iou y max_det se aceptan por paridad de API, pero no tienen efecto, porque no hay nada que umbralizar ni suprimir en un único vector de probabilidades. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Tres tamaños, tiny/small/base, todos entrenados y evaluados de la misma forma, así que elegir uno es un intercambio directo entre número de parámetros y precisión. La tarea es fija: todos los tamaños cubren solo clasificación. El nombre del archivo de pesos termina en -cls.pt en todos los tamaños, y ese sufijo es lo que lee la factoría para enrutar a esta familia; no hace falta ningún argumento task=.

Entrenamiento

El fine-tuning parte del backbone de ImageNet publicado y reconstruye automáticamente la capa final del clasificador para que coincida con el número de clases del dataset objetivo.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 epochs=5

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5, lora=True)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Si no tocas nada, el trainer ejecuta 100 épocas con lr0=1e-3 y AdamW, un batch de 64 y parada temprana tras 50 épocas sin mejora. data acepta la raíz de un dataset (train/ y val/, una carpeta por clase), un nombre corto conocido como imagenette160, o una URL a un .zip. Los bloques de ConvNeXt llevan los MLP de nn.Linear que LoRA necesita, así que lora=True está soportado aquí, e inyecta adaptadores en los MLP de los bloques en lugar de hacer fine-tuning del backbone completo.

Consulta entrenamiento para datasets, aumento de datos (data augmentation), multi-GPU y loggers.

Validación

val() devuelve un diccionario de claves metrics/. En clasificación son la precisión top-1 y top-5 sobre el split de validación.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreConvNeXtt-cls.pt data=imagenette160

Exportación

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results. Exportación lista los argumentos que acepta cada formato y los extras que añaden algunos de ellos.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreConvNeXtt-cls.pt format=onnxlibreyolo export model=LibreConvNeXtt-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría enruta según la extensión del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo objeto Results.model = LibreYOLO("LibreConvNeXtt-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Licencia

Cita

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}