Mask R-CNN

Mask R-CNN은 Faster R-CNN에 영역별 마스크 브랜치를 추가하여 탐지한 각 박스와 함께 분할 마스크를 예측합니다. LibreYOLO는 객체 탐지와 인스턴스 분할을 위해 torchvision 구현을 이식합니다.

작업: detection, instance segmentation
크기: r50 at 800 px
설치: pip install libreyolo
지원 티어: 추론 전용, v부터 지원. 예측, 검증, 내보내기만 지원합니다. 학습 기능은 적용되지 않습니다.
업스트림: PyTorch의 Mask R-CNN, BSD-3-Clause. 논문, 소스
라이선스: 코드 BSD-3-Clause, 가중치 BSD-3-Clause. 상업적 사용

설치

Mask R-CNN에는 선택적 extra가 필요하지 않습니다. 가져오는 모든 항목이 기본 설치에 포함됩니다.

bash

pip install libreyolo

예측

처음 사용할 때 Hugging Face에서 가중치를 다운로드해 로컬에 캐시합니다.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMaskRCNNr50.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

CLI

libreyolo predict model=LibreMaskRCNNr50.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

박스만 반환

from libreyolo import LibreYOLO, SAMPLE_IMAGE # task="detect"는 마스크 헤드를 건너뛰고 같은 체크포인트에서# 박스를 반환하며 결과에는 마스크가 없습니다.model = LibreYOLO("LibreMaskRCNNr50.pt", task="detect")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

반환되는 Results 객체는 모든 계열이 반환하는 것과 같으므로 탐지기를 바꾸려면 한 줄만 변경하면 됩니다. task 인수 없이 체크포인트를 불러오면 인스턴스 마스크를 반환합니다. 분할이 이 계열의 기본 작업이므로 result.masks에 박스와 함께 마스크가 담깁니다. task="detect"를 전달하면 마스크 헤드 없이 같은 가중치를 불러와 박스만 반환합니다. conf와 iou는 신뢰도 및 NMS 임곗값을 설정합니다. 쿼리 기반 탐지기와 달리 Mask R-CNN은 업스트림 NMS 단계를 유지합니다. 소스, 스트리밍, 결과 처리는 예측을 참조합니다.

변형

백본은 torchvision의 v2 Mask R-CNN 빌더를 사용하는 특징 피라미드 ResNet-50 하나입니다. 공개된 체크포인트에는 BSD-3-Clause 라이선스가 적용되며 이 계열의 두 작업에 모두 사용됩니다. 따라서 선택할 크기가 없습니다.

검증

val()은 metrics/ 키 사전을 반환합니다. 이 체크포인트의 기본 분할 작업을 기준으로 일반 metrics/mAP50-95 키에는 마스크 점수가 들어가며 같은 실행에서 (B) 접미사 키로 박스도 보고하므로 한 번의 패스로 둘 다 얻을 수 있습니다.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreMaskRCNNr50.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])      # 마스크print(metrics["metrics/mAP50-95(B)"])   # 박스

CLI

libreyolo val model=LibreMaskRCNNr50.pt data=my-dataset.yaml

내보내기

작업	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Detection	Detection to ONNX: 지원함	Detection to TorchScript: 지원하지 않음	Detection to ExecuTorch: 지원하지 않음	Detection to TensorRT: 지원하지 않음	Detection to OpenVINO: 지원하지 않음	Detection to Paddle: 지원하지 않음	Detection to MNN: 지원하지 않음	Detection to RKNN: 지원하지 않음	Detection to ncnn: 지원하지 않음	Detection to TFLite: 지원하지 않음	Detection to CoreML: 지원하지 않음	Detection to Core AI: 지원하지 않음
Instance segmentation	Instance segmentation to ONNX: 지원함	Instance segmentation to TorchScript: 지원하지 않음	Instance segmentation to ExecuTorch: 지원하지 않음	Instance segmentation to TensorRT: 지원하지 않음	Instance segmentation to OpenVINO: 지원하지 않음	Instance segmentation to Paddle: 지원하지 않음	Instance segmentation to MNN: 지원하지 않음	Instance segmentation to RKNN: 지원하지 않음	Instance segmentation to ncnn: 지원하지 않음	Instance segmentation to TFLite: 지원하지 않음	Instance segmentation to CoreML: 지원하지 않음	Instance segmentation to Core AI: 지원하지 않음

Mask R-CNN은 배치 크기 1로 ONNX에만 내보낼 수 있습니다. 내보낸 그래프는 업스트림 크기 조정과 마스크 붙여넣기 단계를 내부에 유지합니다. 정사각형이 아닌 소스에도 그래프가 유효하도록 LibreYOLO는 전달값과 관계없이 dynamic=True를 강제합니다. 내보낸 .onnx 파일은 파일 접미사에 따라 LibreYOLO()로 다시 불러오며 동일한 Results를 반환합니다.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreMaskRCNNr50.pt")model.export(format="onnx", imgsz=800)

CLI

libreyolo export model=LibreMaskRCNNr50.pt format=onnx imgsz=800

내보낸 파일 사용

from libreyolo import LibreYOLO, SAMPLE_IMAGE # 팩토리는 파일 접미사에 따라 라우팅하므로 내보낸 아티팩트도# 다른 체크포인트처럼 불러와 동일한 Results 객체를 반환합니다.model = LibreYOLO("LibreMaskRCNNr50.onnx")result = model(SAMPLE_IMAGE) print(result.masks.data.shape)

체크포인트

이 계열에 공개된 모든 가중치 파일입니다. 아래 체크포인트 하나는 detect 아래에 표시되지만 같은 파일을 분할에도 불러옵니다. task 인수를 생략하면 기본으로 마스크를 반환합니다.

파일	입력(px)	가중치 라이선스
Detection
LibreMaskRCNNr50.pt	800	bsd-3-clause

위의 모든 파일은 현재 LibreYOLO 조직에 있으며 처음 사용할 때 내려받습니다.

라이선스

내려받는 특정 가중치의 Hugging Face 저장소에서 라이선스를 확인하십시오. LibreYOLO 조직의 모든 체크포인트에는 라이선스가 있으며 한 계열 안에서도 항상 같지는 않습니다. 해당 저장소가 신뢰할 수 있는 기준입니다. 아래 요약은 이 페이지를 마지막으로 검증했을 때 적용된 내용을 설명합니다.

관련 라이선스에 관한 설명이며 법률 자문이 아닙니다. 상업적으로 중요한 사안이라면 라이선스를 직접 읽고 별도의 법률 자문을 받으십시오.

원작: Mask R-CNN, PyTorch
업스트림 라이선스: BSD-3-Clause
업스트림 소스: github.com/pytorch/vision
LibreYOLO 코드: MIT
가중치: BSD-3-Clause, huggingface.co/LibreYOLO에 다시 게시됨
해석: BSD-3-Clause is a permissive license, so this code can be used in commercial and closed-source products with no obligation on your own application code. It asks only that you keep the copyright notice and disclaimer with any copy you redistribute, and it carries no patent grant. The published checkpoint used for parity testing is not distributed in the LibreYOLO source tree: torchvision's own documentation notes that a pretrained model's terms may depend on its training data, so the Hugging Face mirror ships the BSD text on that implied basis and repeats the caveat rather than issuing an explicit checkpoint-specific grant.

Mask R-CNN은 LibreYOLO의 Faster R-CNN 래퍼를 상속한 하위 클래스로 구축됩니다. 같은 torchvision 소스와 BSD-3-Clause 라이선스를 공유하며 동일하게 이식된 커밋의 마스크 예측기와 마스크 RoI 헤드를 추가합니다.