NAFNet

Встановлення

NAFNet не потребує додаткових пакетів. Усі її імпорти входять до базового встановлення.

pip install libreyolo

Передбачення

Під час першого використання ваги завантажуються з Hugging Face та кешуються локально.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")result = model("noisy.jpg", save=True) restored = result.restoredprint(restored.array.shape)

libreyolo predict model=LibreNAFNetl-restore-sidd.pt source=noisy.jpg save=True

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")result = model.predict("noisy.jpg") result.restored.save("denoised.png")

Повернений об'єкт Results містить одне поле для цього сімейства, restored, щільне RGB-зображення uint8 у компонуванні HWC на початковому полотні; рамок для перебирання немає. Параметр save=True записує відновлене зображення безпосередньо на диск, а не малює анотацію поверх вхідного зображення. Параметри conf, iou та max_det приймаються для сумісності сигнатури з усіма іншими сімействами, але не впливають на результат, оскільки відновлення не створює виявлень для фільтрування. Джерела, потокове оброблення та роботу з результатами описано на сторінці передбачення.

Варіанти

Ця архітектура має дві ширини: s (ширина 32) та l (ширина 64), обидві побудовано навколо навчального патча 256 px. Передбачення та валідація працюють із нативною роздільною здатністю зображення незалежно від розміру, додаючи поля лише до коефіцієнта зменшення дискретизації мережі. Наразі опубліковано лише ширину l як контрольну точку усунення шуму зі справжніх зображень, навчену на SIDD.

Навчання

NAFNet донавчається на ваших парах погіршених і чистих зображень: YAML-файл датасету вказує на каталог inputs/<split>/ із погіршеними зображеннями та каталог targets/<split>/ із чистими цільовими зображеннями, зіставленими за основою назви файлу. degradation і dataset є необов'язковими рядками, які записуються у збереженій контрольній точці для фіксації походження; вони не беруть участі в навчанні.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=256, batch=16, lr0=1e-3)

libreyolo train model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml \  epochs=100 imgsz=256 batch=16 lr0=1e-3

from libreyolo import LibreYOLO # degradation і dataset записуються у збереженій контрольній точці;# вони не змінюють процес навчання.model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.train(    data="my-dataset.yaml",    epochs=100,    degradation="denoise",    dataset="MyDataset",)

libreyolo train model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml \  epochs=100 device=0,1 batch=32

Без додаткових параметрів тренер виконує 100 епох з AdamW та lr0=1e-3, батчем 16, обрізанням 256 px і ранньою зупинкою після 50 епох без покращення PSNR. Для цього сімейства немає шляху LoRA: lora=True спричиняє помилку замість запуску, оскільки NAFNetTrainer ніколи не вмикає донавчання адаптерів.

Під час навчання мережа працює зі звичайним глобальним усереднювальним пулінгом. Віконний локальний пулінг NAFNet лише для інференсу (Test-time Local Converter) від'єднується перед першою епохою та приєднується знову після завершення навчання, оскільки зворотне поширення через локальний пул фіксованого вікна не відповідало б використанню контрольної точки під час інференсу.

Датасети, аугментацію, кілька GPU та системи журналювання описано на сторінці навчання.

Валідація

Метод val() повертає словник із metrics/PSNR та metrics/SSIM, обчисленими в RGB на всьому дійсному полотні: SSIM використовує гауссове вікно 11x11 із sigma 1.5, а fitness для вибору найкращої контрольної точки дорівнює PSNR. data вказує на той самий формат датасету пар зображень, який використовується для навчання.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt") # val() повертає звичайний словник, а не об'єктmetrics = model.val(data="my-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

libreyolo val model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml

Експорт

Експортований артефакт повторно завантажується через LibreYOLO() за суфіксом файлу, тому файл .onnx або .engine поводиться як контрольна точка й повертає той самий Results, а restored містить вихідне зображення. NAFNet експортується з фіксованою просторовою роздільною здатністю: imgsz має бути кратним коефіцієнту зменшення дискретизації мережі (16 для обох ширин архітектури), і за dynamic=True динамічним є лише вимір батча; висота й ширина фіксуються під час експорту.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.export(format="onnx", imgsz=256)model.export(format="tensorrt", imgsz=256, half=True)

libreyolo export model=LibreNAFNetl-restore-sidd.pt format=onnx imgsz=256libreyolo export model=LibreNAFNetl-restore-sidd.pt format=tensorrt imgsz=256 half=True

from libreyolo import LibreYOLO # Фабрика виконує маршрутизацію за суфіксом файлу, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibreNAFNetl-restore-sidd.onnx")result = model("noisy.jpg") result.restored.save("denoised.png")

Контрольні точки

Усі опубліковані файли ваг для цього сімейства.

Ліцензування

Цитування

@article{chen2022simple,
  title={Simple Baselines for Image Restoration},
  author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
  journal={arXiv preprint arXiv:2204.04676},
  year={2022}
}