Real-ESRGAN

Installazione

Real-ESRGAN non richiede nessun extra opzionale. Tutto quello che importa è nell'installazione base.

pip install libreyolo

Predizione

I pesi vengono scaricati da Hugging Face al primo utilizzo e restano nella cache locale.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreRealESRGANx4-restore.pt")result = model(SAMPLE_IMAGE, save=True) restored = result.restoredprint(restored.array.shape, restored.array.dtype)

libreyolo predict model=LibreRealESRGANx4-restore.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # tile divide il forward pass in tasselli sovrapposti e ricompone le# giunture; tile_pad è l'alone aggiunto attorno a ogni tassello# prima che venga ritagliato via. Sono entrambi argomenti keyword# solo Python, non flag della CLI.result = model("large-photo.jpg", tile=512, tile_pad=10, save=True)

Un risultato di restauro non porta box; result.restored è un'immagine RGB uint8 densa (H, W, 3), su un canvas grande Results.restore_scale volte l'input in ciascuna dimensione. save=True scrive direttamente quell'immagine invece di un plot annotato. L'input viene convertito in RGB e l'eventuale canale alfa viene scartato. Una sorgente più grande di quanto la memoria consenta si può dividere con tile e tile_pad, che ricompongono le giunture dei tasselli nell'output. Vedi predizione per sorgenti, streaming e gestione dei risultati.

Varianti

Tre checkpoint, che prendono il nome dal loro fattore di upscaling. x4 è RRDBNet (RealESRGAN_x4plus), 23 blocchi densi residual-in-residual, la scelta predefinita per la qualità a 4x. x2 è la stessa architettura RRDBNet a 2x. x4t è SRVGGNetCompact (realesr-general-x4v3), un generatore più piccolo e più veloce, costruito per il video e per usi a bassa latenza a 4x. Il modello general-purpose del progetto upstream include anche una rete accoppiata di denoise strength, miscelata al momento dell'inferenza; quella manopola di intensità non fa parte di questo port, che esegue il generatore x4t di base.

Validazione

val() misura PSNR e SSIM tra l'output restaurato e un'immagine target pulita, entrambi calcolati in RGB sul canvas originale, senza ritaglio dei bordi e senza ridimensionamento. SSIM usa una finestra gaussiana 11x11 con sigma 1.5, mediata sui tre canali di colore.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt")metrics = model.val(data="my-restore-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

libreyolo val model=LibreRealESRGANx4-restore.pt data=my-restore-dataset.yaml

L'argomento dataset è un YAML che accoppia una cartella di immagini di input degradate con una cartella di immagini target pulite alla stessa risoluzione; vedi formati dei dataset per le chiavi esatte.

Esportazione

Un artefatto esportato si ricarica con LibreYOLO() in base all'estensione del file, quindi un file .onnx o .engine si comporta come un checkpoint e restituisce lo stesso Results. Esportazione elenca gli argomenti che ogni formato accetta e gli extra che qualcuno di essi aggiunge.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # se omesso, imgsz assume una piccola dimensione di patch interna,# non la tua risoluzione di lavoro, quindi passa la dimensione che# il tuo deployment dà davvero in pasto al modello.model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreRealESRGANx4-restore.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory smista in base all'estensione del file, quindi un# artefatto esportato si carica come qualsiasi checkpoint e# restituisce lo stesso oggetto Results.model = LibreYOLO("LibreRealESRGANx4-restore.onnx")result = model(SAMPLE_IMAGE) print(result.restored.array.shape)

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia.

Licenza

Citazione

@InProceedings{wang2021realesrgan,
    author    = {Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
    title     = {Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
    booktitle = {International Conference on Computer Vision Workshops (ICCVW)},
    date      = {2021}
}