Real-ESRGAN

Instalación

Real-ESRGAN no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

pip install libreyolo

Predicción

Los pesos se descargan de Hugging Face en el primer uso y se guardan en la caché local.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreRealESRGANx4-restore.pt")result = model(SAMPLE_IMAGE, save=True) restored = result.restoredprint(restored.array.shape, restored.array.dtype)

libreyolo predict model=LibreRealESRGANx4-restore.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # tile divide el forward pass en tiles solapados y funde de nuevo# las costuras; tile_pad es el halo que se añade alrededor de cada# tile antes de recortarlo de vuelta. Ambos son argumentos con# nombre solo de Python, no flags de la CLI.result = model("large-photo.jpg", tile=512, tile_pad=10, save=True)

Un resultado de restauración no lleva cajas; result.restored es una imagen RGB densa (H, W, 3) uint8, sobre un lienzo Results.restore_scale veces el de entrada en cada dimensión. save=True escribe esa imagen directamente en lugar de un gráfico anotado. La entrada se convierte a RGB y se descarta cualquier canal alfa. Una fuente más grande de lo que permite la memoria se puede dividir con tile y tile_pad, que funden de nuevo las costuras de los tiles en la salida. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Tres checkpoints, nombrados por su factor de escalado. x4 es RRDBNet (RealESRGAN_x4plus), 23 bloques densos residual-in-residual, la opción por defecto de calidad a 4x. x2 es la misma arquitectura RRDBNet a 2x. x4t es SRVGGNetCompact (realesr-general-x4v3), un generador más pequeño y rápido construido para vídeo y usos de menor latencia a 4x. El modelo general del proyecto original incluye además una red emparejada de fuerza de denoise que se mezcla en el momento de la inferencia; ese control de fuerza no forma parte de este port, que ejecuta el generador x4t base.

Validación

val() mide PSNR y SSIM entre la salida restaurada y una imagen objetivo limpia, ambas calculadas en RGB sobre el lienzo original, sin recorte de bordes y sin redimensionar. SSIM usa una ventana gaussiana de 11x11 con sigma 1.5, promediada sobre los tres canales de color.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt")metrics = model.val(data="my-restore-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

libreyolo val model=LibreRealESRGANx4-restore.pt data=my-restore-dataset.yaml

El argumento de dataset es un YAML que empareja un directorio de imágenes de entrada degradadas con un directorio de imágenes objetivo limpias de la misma resolución; consulta formatos de dataset para las claves exactas.

Exportación

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results. Exportación enumera los argumentos que acepta cada formato y los extras que añaden unos pocos.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # si se omite, imgsz toma por defecto un tamaño de patch interno# pequeño, no tu resolución de trabajo, así que pasa el tamaño que# tu despliegue le da realmente al modelo.model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreRealESRGANx4-restore.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría enruta según la extensión del archivo, así que un# artefacto exportado se carga como cualquier checkpoint y devuelve# el mismo objeto Results.model = LibreYOLO("LibreRealESRGANx4-restore.onnx")result = model(SAMPLE_IMAGE) print(result.restored.array.shape)

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Licencia

Cita

@InProceedings{wang2021realesrgan,
    author    = {Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
    title     = {Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
    booktitle = {International Conference on Computer Vision Workshops (ICCVW)},
    date      = {2021}
}