NAFNet

NAFNet은 일반적인 UNet 블록에서 비선형 활성화 함수를 제거하고 요소별 곱셈으로 대체한 이미지 복원용 컨볼루션 네트워크입니다. LibreYOLO는 SIDD로 학습한 실제 이미지 노이즈 제거 체크포인트와 함께 복원 한 작업에서 이를 지원합니다.

작업: restore
크기: s, l at 256 px
설치: pip install libreyolo
지원 티어: 지원, v부터 지원. 보조 학습 가능 모델입니다. CI 통과 상태를 유지하며 기능은 여건에 따라 추가됩니다.
업스트림: Megvii의 NAFNet, MIT. 논문, 소스
라이선스: 코드 MIT, 가중치 MIT. 상업적 사용

설치

NAFNet에는 선택적 extra가 필요하지 않습니다. 가져오는 모든 항목이 기본 설치에 포함됩니다.

bash

pip install libreyolo

예측

가중치는 처음 사용할 때 Hugging Face에서 내려받아 로컬에 캐시됩니다.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")result = model("noisy.jpg", save=True) restored = result.restoredprint(restored.array.shape)

CLI

libreyolo predict model=LibreNAFNetl-restore-sidd.pt source=noisy.jpg save=True

복원된 이미지 저장

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")result = model.predict("noisy.jpg") result.restored.save("denoised.png")

반환되는 Results 객체에는 이 계열용 필드 restored 하나가 들어 있습니다. 원본 캔버스의 밀집 HWC uint8 RGB 이미지이며 순회할 바운딩 박스는 없습니다. save=True는 입력 위에 어노테이션을 그리는 대신 복원된 이미지를 디스크에 바로 씁니다. 복원은 필터링할 탐지를 생성하지 않으므로 다른 모든 계열과의 시그니처 동등성을 위해 conf, iou, max_det를 허용하지만 효과가 없습니다. 소스, 스트리밍, 결과 처리는 예측을 참조합니다.

변형

너비는 32인 s와 64인 l 두 가지이며 둘 다 256 px 학습 패치를 중심으로 구성됩니다. 크기와 관계없이 예측과 검증은 네이티브 이미지 해상도에서 실행하며 네트워크 다운샘플 배수에 맞추기 위한 패딩만 적용합니다. 현재 공개된 크기는 SIDD로 학습한 실제 이미지 노이즈 제거 체크포인트인 l뿐입니다.

학습

NAFNet은 자체적으로 짝을 이룬 열화 및 깨끗한 이미지에서 파인튜닝합니다. 데이터셋 YAML은 열화 이미지가 있는 inputs/<split>/ 폴더와 파일 이름 줄기가 일치하는 깨끗한 대상이 있는 targets/<split>/ 폴더를 가리킵니다. degradation과 dataset은 출처를 위해 저장된 체크포인트에 기록하는 선택적 문자열이며 학습에는 관여하지 않습니다.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=256, batch=16, lr0=1e-3)

CLI

libreyolo train model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml \  epochs=100 imgsz=256 batch=16 lr0=1e-3

체크포인트 출처

from libreyolo import LibreYOLO # degradation과 dataset은 저장된 체크포인트에 기록되며# 학습되는 내용은 바꾸지 않습니다.model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.train(    data="my-dataset.yaml",    epochs=100,    degradation="denoise",    dataset="MyDataset",)

다중 GPU

libreyolo train model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml \  epochs=100 device=0,1 batch=32

다른 값을 지정하지 않으면 트레이너는 AdamW, lr0=1e-3, 배치 16, 256 px 크롭으로 100 에폭을 실행하며 PSNR 개선 없이 50 에폭이 지나면 조기 종료합니다. 이 계열에는 LoRA 경로가 없습니다. NAFNetTrainer가 어댑터 파인튜닝을 선택하지 않으므로 lora=True는 실행하지 않고 오류를 발생시킵니다.

학습 중 네트워크는 일반 전역 평균 풀링으로 실행합니다. NAFNet의 추론 전용 윈도우 로컬 풀링(Test-time Local Converter)은 첫 에폭 전에 분리하고 학습이 끝나면 다시 연결합니다. 고정 윈도우 로컬 풀을 통한 역전파는 체크포인트의 추론 사용 방식과 일치하지 않기 때문입니다.

데이터셋, 증강, 다중 GPU, 로거는 학습을 참조합니다.

검증

val()은 전체 유효 캔버스의 RGB에서 계산한 metrics/PSNR 및 metrics/SSIM 딕셔너리를 반환합니다. SSIM은 sigma 1.5의 11x11 가우시안 윈도우를 사용하며, 최상 체크포인트 선택용 fitness는 PSNR 값입니다. data는 학습에 사용한 것과 같은 짝을 이룬 이미지 데이터셋 형식을 가리킵니다.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt") # val()은 객체가 아니라 일반 dict를 반환합니다metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/PSNR"])print(metrics["metrics/SSIM"])

CLI

libreyolo val model=LibreNAFNetl-restore-sidd.pt data=my-dataset.yaml

내보내기

작업	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
restore	restore to ONNX: 지원함	restore to TorchScript: 지원함	restore to ExecuTorch: 지원함	restore to TensorRT: 지원함	restore to OpenVINO: 지원함	restore to Paddle: 지원하지 않음	restore to MNN: 지원하지 않음	restore to RKNN: 지원하지 않음	restore to ncnn: 지원함	restore to TFLite: 지원하지 않음	restore to CoreML: 지원하지 않음	restore to Core AI: 지원함

내보낸 아티팩트는 파일 접미사에 따라 LibreYOLO()로 다시 불러오므로 .onnx 또는 .engine 파일이 체크포인트처럼 동작하며 동일한 Results를 반환하고 restored에 출력 이미지가 들어 있습니다. NAFNet은 고정 공간 해상도로 내보냅니다. imgsz는 네트워크 다운샘플 배수(두 아키텍처 너비 모두 16)로 나누어떨어져야 하며, dynamic=True일 때는 배치 차원만 동적이고 높이와 너비는 내보낼 때 고정됩니다.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreNAFNetl-restore-sidd.pt")model.export(format="onnx", imgsz=256)model.export(format="tensorrt", imgsz=256, half=True)

CLI

libreyolo export model=LibreNAFNetl-restore-sidd.pt format=onnx imgsz=256libreyolo export model=LibreNAFNetl-restore-sidd.pt format=tensorrt imgsz=256 half=True

내보낸 파일 사용하기

from libreyolo import LibreYOLO # 팩토리는 파일 접미사로 라우팅하므로 내보낸 아티팩트도# 체크포인트처럼 불러오며 동일한 Results 객체를 반환합니다.model = LibreYOLO("LibreNAFNetl-restore-sidd.onnx")result = model("noisy.jpg") result.restored.save("denoised.png")

체크포인트

이 계열에서 공개된 모든 가중치 파일입니다.

파일	입력(px)	가중치 라이선스
restore
LibreNAFNetl-restore-sidd.pt		mit

위의 모든 파일은 현재 LibreYOLO 조직에 있으며 처음 사용할 때 내려받습니다.

라이선스

내려받는 특정 가중치의 Hugging Face 저장소에서 라이선스를 확인하십시오. LibreYOLO 조직의 모든 체크포인트에는 라이선스가 있으며 한 계열 안에서도 항상 같지는 않습니다. 해당 저장소가 신뢰할 수 있는 기준입니다. 아래 요약은 이 페이지를 마지막으로 검증했을 때 적용된 내용을 설명합니다.

관련 라이선스에 관한 설명이며 법률 자문이 아닙니다. 상업적으로 중요한 사안이라면 라이선스를 직접 읽고 별도의 법률 자문을 받으십시오.

원작: NAFNet, Megvii
업스트림 라이선스: MIT
업스트림 소스: github.com/megvii-research/NAFNet
LibreYOLO 코드: MIT
가중치: MIT, huggingface.co/LibreYOLO에 다시 게시됨
해석: MIT is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep the copyright notice and license text with any copy you redistribute, and places no other obligation on your own application code. Part of the training pipeline is ported from BasicSR under Apache-2.0, which additionally grants a patent license. The published checkpoint is trained on the Smartphone Image Denoising Dataset (SIDD), itself MIT-licensed.

인용

@article{chen2022simple,
  title={Simple Baselines for Image Restoration},
  author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
  journal={arXiv preprint arXiv:2204.04676},
  year={2022}
}

github.com/megvii-research/NAFNet#citations에 있는 저자의 인용 블록에서 복사했습니다.