Real-ESRGAN

Установка

Real-ESRGAN не требует установки дополнительных extra-пакетов. Всё, что он импортирует, входит в базовую установку.

pip install libreyolo

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreRealESRGANx4-restore.pt")result = model(SAMPLE_IMAGE, save=True) restored = result.restoredprint(restored.array.shape, restored.array.dtype)

libreyolo predict model=LibreRealESRGANx4-restore.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # tile разбивает прямой проход на перекрывающиеся тайлы и сглаживает# стыки между ними; tile_pad — это поля вокруг каждого тайла, которые# потом обрезаются обратно. Оба параметра есть только как именованные# аргументы в Python, а не как флаги CLI.result = model("large-photo.jpg", tile=512, tile_pad=10, save=True)

В результате восстановления нет рамок; result.restored — плотное RGB-изображение (H, W, 3) типа uint8 на холсте, который по каждому измерению в Results.restore_scale раз больше входного. save=True записывает это изображение напрямую, а не картинку с аннотациями. Вход преобразуется в RGB, альфа-канал, если он есть, отбрасывается. Источник, который не помещается в память, можно разбить с помощью tile и tile_pad — они же сглаживают стыки тайлов в итоговом изображении. Об источниках, стриминге и обработке результатов — в разделе предсказание.

Варианты

Три чекпойнта, названные по коэффициенту увеличения. x4 — это RRDBNet (RealESRGAN_x4plus), 23 блока residual-in-residual dense, вариант по умолчанию для качества при 4x. x2 — та же архитектура RRDBNet при 2x. x4t — это SRVGGNetCompact (realesr-general-x4v3), меньший и более быстрый генератор, рассчитанный на видео и работу с меньшей задержкой при 4x. В исходном проекте у универсальной модели есть ещё парная сеть силы шумоподавления, которая подмешивается на инференсе; в этом порте такой регулировки нет — он запускает базовый генератор x4t.

Валидация

val() считает PSNR и SSIM между восстановленным изображением и чистым эталоном; обе метрики вычисляются в RGB на исходном холсте, без обрезки краёв и без масштабирования. SSIM использует гауссово окно 11x11 с сигмой 1.5 и усредняется по трём цветовым каналам.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt")metrics = model.val(data="my-restore-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

libreyolo val model=LibreRealESRGANx4-restore.pt data=my-restore-dataset.yaml

Аргумент датасета — это YAML, который связывает каталог повреждённых входных изображений с каталогом чистых эталонных изображений того же разрешения; точные ключи описаны в разделе форматы датасетов.

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по суффиксу файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. В разделе экспорт перечислены аргументы, которые принимает каждый формат, и дополнительные, которые добавляют некоторые из них.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # если imgsz не указан, берётся небольшой внутренний размер патча, а# не ваше рабочее разрешение, поэтому передавайте тот размер, который# реально подаётся модели при развёртывании.model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreRealESRGANx4-restore.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по суффиксу файла, поэтому экспортированный# артефакт загружается как любой чекпойнт и возвращает тот же Results.model = LibreYOLO("LibreRealESRGANx4-restore.onnx")result = model(SAMPLE_IMAGE) print(result.restored.array.shape)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@InProceedings{wang2021realesrgan,
    author    = {Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
    title     = {Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
    booktitle = {International Conference on Computer Vision Workshops (ICCVW)},
    date      = {2021}
}