NAFNet

Instalación

NAFNet no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

pip install libreyolo

Predicción

Los pesos se descargan de Hugging Face en el primer uso y se guardan en la caché local.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")result = model("noisy.jpg", save=True) restored = result.restoredprint(restored.array.shape)

libreyolo predict model=LibreNAFNetl-restore-sidd.pt source=noisy.jpg save=True

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")result = model.predict("noisy.jpg") result.restored.save("denoised.png")

El objeto Results devuelto lleva un único campo para esta familia, restored, una imagen RGB uint8 densa en formato HWC sobre el lienzo original; no hay boxes que recorrer. save=True escribe esa imagen restaurada directamente en disco en lugar de dibujar una anotación sobre la entrada. conf, iou y max_det se aceptan por paridad de firma con el resto de familias, pero no tienen efecto, ya que la restauración no produce detecciones que filtrar. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Dos anchos comparten esta arquitectura: s (ancho 32) y l (ancho 64), ambos construidos en torno a un parche de entrenamiento de 256 px. La predicción y la validación se ejecutan a la resolución nativa de la imagen sea cual sea su tamaño, con padding solo hasta el factor de submuestreo de la red. De momento solo está publicado el ancho l, como checkpoint de eliminación de ruido en imágenes reales entrenado sobre SIDD.

Entrenamiento

NAFNet hace fine-tuning sobre tus propias parejas de imágenes degradada/limpia: un YAML de dataset que apunte a una carpeta inputs/<split>/ con las imágenes degradadas y a una carpeta targets/<split>/ con los objetivos limpios, emparejadas por el nombre de archivo sin extensión. degradation y dataset son cadenas opcionales que se registran en el checkpoint guardado como procedencia; no intervienen en el entrenamiento.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=256, batch=16, lr0=1e-3)

libreyolo train model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml \  epochs=100 imgsz=256 batch=16 lr0=1e-3

from libreyolo import LibreYOLO # degradation y dataset se registran en el checkpoint guardado; no# cambian lo que se entrena.model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.train(    data="my-dataset.yaml",    epochs=100,    degradation="denoise",    dataset="MyDataset",)

libreyolo train model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml \  epochs=100 device=0,1 batch=32

Si no lo tocas, el trainer ejecuta 100 epochs con AdamW a lr0=1e-3, un batch de 16, recortes de 256 px y parada temprana tras 50 epochs sin mejora de PSNR. Esta familia no tiene camino LoRA: lora=True lanza un error en lugar de ejecutarse, porque NAFNetTrainer nunca se acoge al fine-tuning con adaptadores.

Durante el entrenamiento la red funciona con global-average pooling normal. El pooling local por ventanas de NAFNet, exclusivo de inferencia (Test-time Local Converter), se desconecta antes del primer epoch y se vuelve a conectar cuando termina el entrenamiento, ya que retropropagar a través de un pooling local de ventana fija no se correspondería con la forma en que se usa el checkpoint en inferencia.

Consulta entrenamiento para datasets, aumento de datos, multi-GPU y loggers.

Validación

val() devuelve un diccionario con metrics/PSNR y metrics/SSIM, calculados en RGB sobre todo el lienzo válido: SSIM usa una ventana gaussiana de 11x11 con sigma 1.5, y el fitness con el que se elige el mejor checkpoint es el valor de PSNR. data apunta al mismo formato de dataset de imágenes emparejadas que se usa para entrenar.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt") # val() devuelve un dict simple, no un objetometrics = model.val(data="my-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

libreyolo val model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml

Exportación

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results, con restored llevando la imagen de salida. NAFNet se exporta a una resolución espacial fija: imgsz debe ser divisible por el factor de submuestreo de la red (16 para ambos anchos de la arquitectura), y solo la dimensión de batch es dinámica cuando dynamic=True; el alto y el ancho quedan fijados en el momento de la exportación.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.export(format="onnx", imgsz=256)model.export(format="tensorrt", imgsz=256, half=True)

libreyolo export model=LibreNAFNetl-restore-sidd.pt format=onnx imgsz=256libreyolo export model=LibreNAFNetl-restore-sidd.pt format=tensorrt imgsz=256 half=True

from libreyolo import LibreYOLO # La factoría enruta según la extensión del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo Results.model = LibreYOLO("LibreNAFNetl-restore-sidd.onnx")result = model("noisy.jpg") result.restored.save("denoised.png")

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Licencia

Cita

@article{chen2022simple,
  title={Simple Baselines for Image Restoration},
  author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
  journal={arXiv preprint arXiv:2204.04676},
  year={2022}
}