Real-ESRGAN

Instalacja

Real-ESRGAN nie wymaga żadnego opcjonalnego dodatku. Wszystkie importowane elementy znajdują się w instalacji podstawowej.

pip install libreyolo

Predykcja

Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane w lokalnej pamięci podręcznej.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreRealESRGANx4-restore.pt")result = model(SAMPLE_IMAGE, save=True) restored = result.restoredprint(restored.array.shape, restored.array.dtype)

libreyolo predict model=LibreRealESRGANx4-restore.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # tile dzieli przebieg w przód na nakładające się kafelki i scala ich szwy.# tile_pad to obwódka dodawana wokół każdego kafelka przed ponownym przycięciem.# Oba są argumentami nazwanymi tylko dla Pythona, a nie flagami CLI.result = model("large-photo.jpg", tile=512, tile_pad=10, save=True)

Wynik odtwarzania nie zawiera ramek. result.restored jest gęstym obrazem RGB uint8 (H, W, 3) na obszarze Results.restore_scale razy większym od wejścia w każdym wymiarze. Ustawienie save=True zapisuje bezpośrednio ten obraz zamiast wykresu z adnotacjami. Wejście jest konwertowane do RGB, a kanał alfa jest usuwany. Źródło większe niż dostępna pamięć można podzielić argumentami tile i tile_pad, które scalają szwy kafelków w wyniku. Więcej informacji o źródłach, streamingu i obsłudze wyników zawiera strona predykcji.

Warianty

Dostępne są trzy checkpointy nazwane według współczynnika skalowania. x4 to RRDBNet (RealESRGAN_x4plus) z 23 gęstymi blokami residual-in-residual, domyślny wariant jakościowy 4x. x2 to ta sama architektura RRDBNet przy 2x. x4t to SRVGGNetCompact (realesr-general-x4v3), mniejszy i szybszy generator zbudowany do wideo i zastosowań o mniejszym opóźnieniu przy 4x. Uniwersalny model źródłowy udostępnia również sparowaną sieć siły odszumiania mieszaną podczas inferencji. To ustawienie siły nie jest częścią tego portu, który uruchamia podstawowy generator x4t.

Walidacja

val() mierzy PSNR i SSIM między odtworzonym wynikiem a czystym obrazem docelowym. Obie metryki są obliczane w RGB na oryginalnym obszarze, bez przycinania granic i bez zmiany rozmiaru. SSIM używa okna Gaussa 11x11 z sigma 1.5, uśrednionego w trzech kanałach koloru.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt")metrics = model.val(data="my-restore-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

libreyolo val model=LibreRealESRGANx4-restore.pt data=my-restore-dataset.yaml

Argument zbioru danych to plik YAML łączący katalog zdegradowanych obrazów wejściowych z katalogiem czystych obrazów docelowych o zgodnej rozdzielczości. Dokładne klucze opisują formaty zbiorów danych.

Eksport

Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak checkpoint i zwraca ten sam obiekt Results. Strona eksportu wymienia argumenty obsługiwane przez każdy format oraz dodatki wymagane przez niektóre z nich.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # Gdy imgsz pominięto, domyślnie przyjmuje mały wewnętrzny rozmiar patcha,# a nie rozdzielczość roboczą. Podaj rozmiar faktycznie przekazywany modelowi# przez wdrożenie.model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreRealESRGANx4-restore.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, więc wyeksportowany artefakt# ładuje się jak każdy checkpoint i zwraca ten sam obiekt Results.model = LibreYOLO("LibreRealESRGANx4-restore.onnx")result = model(SAMPLE_IMAGE) print(result.restored.array.shape)

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencja

Cytowanie

@InProceedings{wang2021realesrgan,
    author    = {Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
    title     = {Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
    booktitle = {International Conference on Computer Vision Workshops (ICCVW)},
    date      = {2021}
}