Real-ESRGAN

Cài đặt

Real-ESRGAN không cần extra tùy chọn. Mọi thành phần mà mô hình import đều có trong bản cài đặt cơ sở.

pip install libreyolo

Dự đoán

Trọng số được tải về từ Hugging Face trong lần sử dụng đầu tiên và được lưu vào bộ nhớ đệm cục bộ.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreRealESRGANx4-restore.pt")result = model(SAMPLE_IMAGE, save=True) restored = result.restoredprint(restored.array.shape, restored.array.dtype)

libreyolo predict model=LibreRealESRGANx4-restore.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # tile chia forward pass thành các tile chồng lấp rồi hòa trộn đường nối;# tile_pad là vùng viền thêm quanh mỗi tile trước khi cắt bỏ trở lại.# Cả hai là đối số keyword chỉ dành cho Python, không phải cờ CLI.result = model("large-photo.jpg", tile=512, tile_pad=10, save=True)

Kết quả phục hồi không có box; result.restored là ảnh RGB uint8 dense (H, W, 3) trên canvas lớn gấp Results.restore_scale lần đầu vào theo mỗi chiều. save=True ghi trực tiếp ảnh đó thay vì plot có chú thích. Đầu vào được chuyển sang RGB và mọi kênh alpha bị bỏ. Nguồn lớn hơn dung lượng bộ nhớ có thể được chia bằng tile và tile_pad, các tùy chọn này hòa trộn đường nối tile trong đầu ra. Xem dự đoán để biết về nguồn, xử lý luồng và kết quả.

Biến thể

Có ba checkpoint được đặt tên theo hệ số upscale. x4 là RRDBNet (RealESRGAN_x4plus) với 23 residual-in-residual dense block, mặc định chất lượng ở 4x. x2 là cùng kiến trúc RRDBNet ở 2x. x4t là SRVGGNetCompact (realesr-general-x4v3), generator nhỏ và nhanh hơn được xây dựng cho video cùng trường hợp cần độ trễ thấp hơn ở 4x. Mô hình đa dụng upstream cũng cung cấp mạng denoise-strength theo cặp được hòa trộn khi inference; núm điều chỉnh cường độ đó không thuộc bản port này, bản port chạy generator x4t cơ sở.

Xác thực

val() đo PSNR và SSIM giữa đầu ra đã phục hồi và ảnh đích sạch, cả hai được tính theo RGB trên canvas gốc mà không crop viền hoặc đổi kích thước. SSIM dùng cửa sổ Gaussian 11x11 với sigma 1,5, lấy trung bình trên ba kênh màu.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt")metrics = model.val(data="my-restore-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

libreyolo val model=LibreRealESRGANx4-restore.pt data=my-restore-dataset.yaml

Đối số tập dữ liệu (dataset) là YAML ghép thư mục ảnh đầu vào bị suy giảm với thư mục ảnh đích sạch có độ phân giải tương ứng; xem định dạng dataset để biết chính xác các key.

Xuất

Artifact đã xuất được tải lại qua LibreYOLO() dựa trên hậu tố tệp, vì vậy tệp .onnx hoặc .engine hoạt động như checkpoint và trả về cùng đối tượng Results. Trang Xuất liệt kê các đối số được mọi định dạng chấp nhận và các extra mà một số định dạng bổ sung.

from libreyolo import LibreYOLO model = LibreYOLO("LibreRealESRGANx4-restore.pt") # Khi bỏ qua, imgsz mặc định dùng kích thước patch nội bộ nhỏ, không phải# độ phân giải làm việc, vì vậy hãy truyền kích thước mà bản triển khai# thực sự đưa vào mô hình.model.export(format="onnx", imgsz=512)model.export(format="tensorrt", imgsz=512, half=True)

libreyolo export model=LibreRealESRGANx4-restore.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory định tuyến dựa trên hậu tố tệp, vì vậy artifact đã xuất tải# như mọi checkpoint và trả về cùng đối tượng Results.model = LibreYOLO("LibreRealESRGANx4-restore.onnx")result = model(SAMPLE_IMAGE) print(result.restored.array.shape)

Checkpoint

Mọi tệp trọng số đã phát hành cho họ mô hình này.

Giấy phép

Trích dẫn

@InProceedings{wang2021realesrgan,
    author    = {Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
    title     = {Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
    booktitle = {International Conference on Computer Vision Workshops (ICCVW)},
    date      = {2021}
}