NAFNet

Instalasi

NAFNet tidak memerlukan extra opsional. Semua yang diimpornya tersedia dalam instalasi dasar.

pip install libreyolo

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali digunakan dan disimpan dalam cache lokal.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")result = model("noisy.jpg", save=True) restored = result.restoredprint(restored.array.shape)

libreyolo predict model=LibreNAFNetl-restore-sidd.pt source=noisy.jpg save=True

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")result = model.predict("noisy.jpg") result.restored.save("denoised.png")

Objek Results yang dikembalikan memuat satu field untuk family ini, yaitu restored, gambar RGB uint8 HWC padat pada kanvas asli. Tidak ada box untuk diiterasi. save=True langsung menulis gambar hasil restorasi ke disk, alih-alih menggambar anotasi di atas input. conf, iou, dan max_det diterima demi paritas signature dengan semua family lain, tetapi tidak berpengaruh karena restorasi tidak menghasilkan deteksi untuk difilter. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.

Varian

Dua lebar memakai arsitektur ini: s (lebar 32) dan l (lebar 64), keduanya dibangun dengan patch pelatihan 256 px. Prediksi dan validasi berjalan pada resolusi native gambar terlepas dari ukurannya, dengan padding hanya ke faktor downsample jaringan. Saat ini hanya lebar l yang dipublikasikan, sebagai checkpoint denoise gambar nyata yang dilatih pada SIDD.

Pelatihan

NAFNet melakukan fine-tuning pada pasangan gambar rusak/bersih milik Anda: YAML dataset yang menunjuk ke folder gambar rusak inputs/<split>/ dan folder target bersih targets/<split>/, yang dicocokkan berdasarkan stem nama berkas. degradation dan dataset adalah string opsional yang direkam pada checkpoint tersimpan untuk provenans. Keduanya tidak berperan dalam pelatihan.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=256, batch=16, lr0=1e-3)

libreyolo train model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml \  epochs=100 imgsz=256 batch=16 lr0=1e-3

from libreyolo import LibreYOLO # degradation dan dataset direkam pada checkpoint yang disimpan. Keduanya# tidak mengubah apa yang dilatih.model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.train(    data="my-dataset.yaml",    epochs=100,    degradation="denoise",    dataset="MyDataset",)

libreyolo train model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml \  epochs=100 device=0,1 batch=32

Jika dibiarkan, trainer berjalan selama 100 epoch dengan AdamW pada lr0=1e-3, batch 16, crop 256 px, dan early stopping setelah 50 epoch tanpa peningkatan PSNR. Tidak ada jalur LoRA untuk family ini. lora=True memunculkan error, bukan menjalankan fine-tuning, karena NAFNetTrainer tidak pernah mengaktifkan fine-tuning adapter.

Selama pelatihan, jaringan berjalan dengan global-average pooling biasa. Windowed local pooling khusus inferensi NAFNet (Test-time Local Converter) dilepas sebelum epoch pertama dan dipasang kembali setelah pelatihan selesai, karena backpropagation melalui local pool ber-window tetap tidak akan cocok dengan cara checkpoint digunakan saat inferensi.

Lihat pelatihan untuk dataset, augmentasi, multi-GPU, dan logger.

Validasi

val() mengembalikan dictionary dengan metrics/PSNR dan metrics/SSIM, yang dihitung dalam RGB pada seluruh kanvas valid. SSIM memakai window Gaussian 11x11 dengan sigma 1.5, sedangkan fitness untuk pemilihan checkpoint terbaik adalah nilai PSNR. data menunjuk ke format dataset gambar berpasangan yang sama dengan pelatihan.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt") # val() mengembalikan dict biasa, bukan objekmetrics = model.val(data="my-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

libreyolo val model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml

Ekspor

Artefak hasil ekspor dapat dimuat kembali melalui LibreYOLO() berdasarkan akhiran berkasnya, sehingga berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama, dengan restored memuat gambar output. NAFNet diekspor pada resolusi spasial tetap. imgsz harus habis dibagi faktor downsample jaringan (16 untuk kedua lebar arsitektur), dan hanya dimensi batch yang dinamis saat dynamic=True. Tinggi dan lebar tetap pada waktu ekspor.

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.export(format="onnx", imgsz=256)model.export(format="tensorrt", imgsz=256, half=True)

libreyolo export model=LibreNAFNetl-restore-sidd.pt format=onnx imgsz=256libreyolo export model=LibreNAFNetl-restore-sidd.pt format=tensorrt imgsz=256 half=True

from libreyolo import LibreYOLO # Factory merutekan berdasarkan akhiran berkas, sehingga artefak hasil ekspor dimuat# seperti checkpoint lain dan mengembalikan objek Results yang sama.model = LibreYOLO("LibreNAFNetl-restore-sidd.onnx")result = model("noisy.jpg") result.restored.save("denoised.png")

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@article{chen2022simple,
  title={Simple Baselines for Image Restoration},
  author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
  journal={arXiv preprint arXiv:2204.04676},
  year={2022}
}