Mask R-CNN

Cài đặt

Mask R-CNN không cần extra tùy chọn. Mọi thành phần mà mô hình import đều có trong bản cài đặt cơ sở.

pip install libreyolo

Dự đoán

Trọng số được tải về từ Hugging Face trong lần sử dụng đầu tiên và được lưu vào bộ nhớ đệm cục bộ.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMaskRCNNr50.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreMaskRCNNr50.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # task="detect" bỏ qua mask head và trả về box từ cùng checkpoint,# không có mặt nạ trong kết quả.model = LibreYOLO("LibreMaskRCNNr50.pt", task="detect")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Đối tượng Results trả về cũng là đối tượng mà mọi họ mô hình đều trả về, vì vậy việc chuyển sang detector khác chỉ cần thay đổi một dòng. Tải checkpoint mà không có đối số task sẽ trả về mặt nạ thực thể vì phân đoạn là tác vụ mặc định của họ này; khi đó result.masks chứa mặt nạ cùng các box. Truyền task="detect" tải cùng trọng số mà không có mask head và chỉ trả về box. conf và iou thiết lập ngưỡng độ tin cậy và NMS; Mask R-CNN giữ bước NMS upstream, khác với detector dựa trên query. Xem dự đoán để biết về nguồn, xử lý luồng và kết quả.

Biến thể

Có một backbone: ResNet-50 với feature pyramid, dùng builder Mask R-CNN v2 của torchvision. Checkpoint đã phát hành dùng giấy phép BSD-3-Clause và phục vụ cả hai tác vụ trong họ này, vì vậy không có kích thước để lựa chọn.

Xác thực

val() trả về dictionary gồm các key metrics/. Với tác vụ phân đoạn mặc định của checkpoint này, key thuần túy metrics/mAP50-95 chứa điểm mặt nạ, còn cùng lượt chạy báo cáo box dưới hậu tố (B), vì vậy cả hai có sẵn từ một lượt.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMaskRCNNr50.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])      # mặt nạprint(metrics["metrics/mAP50-95(B)"])   # box

libreyolo val model=LibreMaskRCNNr50.pt data=my-dataset.yaml

Xuất

Mask R-CNN chỉ xuất sang ONNX với kích thước batch 1. Graph đã xuất giữ bước đổi kích thước và dán mặt nạ upstream bên trong, vì vậy LibreYOLO buộc dynamic=True bất kể giá trị được truyền để graph vẫn hợp lệ với nguồn không vuông. Tệp .onnx đã xuất được tải lại qua LibreYOLO() dựa trên hậu tố tệp và trả về cùng đối tượng Results.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMaskRCNNr50.pt")model.export(format="onnx", imgsz=800)

libreyolo export model=LibreMaskRCNNr50.pt format=onnx imgsz=800

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory định tuyến dựa trên hậu tố tệp, vì vậy artifact đã xuất tải# như mọi checkpoint và trả về cùng đối tượng Results.model = LibreYOLO("LibreMaskRCNNr50.onnx")result = model(SAMPLE_IMAGE) print(result.masks.data.shape)

Checkpoint

Mọi tệp trọng số đã phát hành cho họ mô hình này. Checkpoint duy nhất bên dưới được liệt kê trong tác vụ phát hiện, nhưng cùng tệp cũng tải cho phân đoạn: không truyền đối số task và theo mặc định mô hình trả về mặt nạ.

Giấy phép