YOLO-NAS

Instalación

YOLO-NAS no necesita nada más allá del paquete base.

pip install libreyolo

Predicción

Un nombre de checkpoint que no esté ya en disco se descarga de la CDN pública de Deci, no de la organización de LibreYOLO, que no aloja ninguno de estos pesos. Antes de que empiece la transferencia, la biblioteca imprime los términos de licencia de Deci una vez por proceso, y antes de abrir el archivo descargado comprueba su SHA-256 contra un valor fijado. Lo que esos términos permiten está en licencia.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Un nombre que no esté ya en disco se descarga de la CDN de Deci. La# descarga imprime antes los términos de licencia de Deci; quedarte con# el archivo implica aceptarlos.model = LibreYOLO("LibreYOLONASs.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLONASs.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # El sufijo -pose selecciona la cabeza de pose y su propio juego de pesos.model = LibreYOLO("LibreYOLONASs-pose.pt")result = model(SAMPLE_IMAGE) print(result.keypoints.xy)

El objeto Results devuelto es el mismo que devuelven todas las familias, así que cambiar a otro detector es un cambio de una línea. conf fija el umbral de confianza e iou el umbral de NMS. Consulta predicción para fuentes, streaming y manejo de resultados.

La tarea de cajas orientadas devuelve result.obb. El grafo OBB publicado usa un lienzo de 1024 píxeles y su conjunto registrado de 18 clases.

Variantes

Detección y pose son la misma arquitectura bajo cabezas distintas, y aceptan los mismos argumentos. Los tamaños de la tabla de abajo son los de detección; pose se publica en esos y en un tamaño más pequeño. La cabeza de pose predice el conjunto de keypoints de COCO.

Entrenamiento

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLONASs.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLONAS # No se toca ningún checkpoint de Deci: el modelo parte de pesos# aleatorios, así que lo que salga de la ejecución deriva solo de tus datos.model = LibreYOLONAS(None, size="s")model.train(data="my-dataset.yaml", imgsz=640, batch=16)

epochs, lr0 y amp se resuelven por tarea cuando los omites, así que una ejecución de pose parte de valores por defecto distintos que una de detección. El optimizador es AdamW por defecto. El número de clases sale del YAML del dataset y la cabeza se reconstruye para él antes de la primera época; en la cabeza de pose el número de keypoints se maneja igual, así que a un checkpoint de pose de COCO se le puede hacer fine-tuning sobre un esqueleto de otro tamaño.

El fine-tuning parte de los pesos de Deci, que es lo que cubre la licencia de Deci. Entrenar desde un modelo inicializado al azar no involucra ningún checkpoint de Deci, y eso es el tercer snippet de arriba.

Consulta entrenamiento para datasets, aumento de datos (data augmentation), multi-GPU y loggers.

La detección usa por defecto amp=True con amp_dtype="float16"; el entrenamiento de cajas orientadas conserva amp=False. La cabeza OBB soporta entrenamiento, predicción y validación, usa aumentos con volteos y HSV, y selecciona checkpoints con metrics/mAP50-95(OBB). load_detect_weights_for_obb() la inicializa a partir de pesos de detección.

Validación

val() devuelve un diccionario de claves metrics/ que cubren precisión, recall, mAP 50 y mAP 50-95, medidos contra cualquier dataset en el formato con el que entrenaste.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLONASs.pt data=my-dataset.yaml

# El yaml de COCO incluido lleva un script de descarga embebido, así que# necesita permiso explícito salvo que el dataset ya esté en local.libreyolo val model=LibreYOLONASl.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Exportación

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su sufijo de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results. Ejecutar el grafo en un runtime pelado, sin LibreYOLO instalado, también está soportado, pero entonces el preprocesado y el postprocesado corren de tu cuenta. Cada formato instala un extra distinto y acepta unos cuantos argumentos propios. Ambas cosas están en la página de ese formato.

Una exportación es otra copia de los mismos pesos en un contenedor distinto. Exportar un checkpoint de Deci no cambia ni de dónde vienen los pesos ni la licencia que los cubre.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLONASs.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLONASs.pt format=onnx imgsz=640

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría resuelve según el sufijo del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo objeto Results.model = LibreYOLO("LibreYOLONASs.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Entradas y salidas ONNX

Checkpoints

No hay ninguno que listar. La licencia de Deci prohíbe la redistribución, así que la organización de LibreYOLO no publica pesos de YOLO-NAS y la descarga se resuelve en otro sitio: un nombre de la forma LibreYOLONAS<size>.pt, LibreYOLONAS<size>-pose.pt para pose, o LibreYOLONAS<size>-obb.pt (s, m, l) para cajas orientadas, se corresponde con el objeto equivalente en la CDN pública de Deci.

Solo se pueden descargar así los checkpoints cuyo SHA-256 tiene fijado la biblioteca. Cualquier otra cosa falla en cerrado en lugar de abrir un pickle de terceros sin verificar, y hay que descargarla a mano y pasarla como ruta. Un archivo que ya esté en disco se carga desde su ruta, sin descarga y sin control de checksum. Eso incluye un .pth de Deci con su nombre original, que el cargador reconoce.

Licencia

Cita

YOLO-NAS se publicó sin paper. La entrada de abajo es la que piden sus autores, y cubre SuperGradients, la biblioteca en la que se distribuyó.

@misc{supergradients,
  doi = {10.5281/ZENODO.7789328},
  url = {https://zenodo.org/record/7789328},
  author = {Aharon,  Shay and {Louis-Dupont} and {Ofri Masad} and Yurkova,  Kate and {Lotem Fridman} and {Lkdci} and Khvedchenya,  Eugene and Rubin,  Ran and Bagrov,  Natan and Tymchenko,  Borys and Keren,  Tomer and Zhilko,  Alexander and {Eran-Deci}},
  title = {Super-Gradients},
  publisher = {GitHub},
  journal = {GitHub repository},
  year = {2021},
}