CenterNet

Cài đặt

CenterNet không cần extra tùy chọn nào. Mọi thứ nó import đều nằm trong bản cài đặt cơ bản.

pip install libreyolo

Dự đoán

Trọng số được tải về từ Hugging Face ở lần dùng đầu tiên và được lưu cache cục bộ.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreCenterNetresdcn18.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreCenterNetresdcn18.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreCenterNetdla34.pt")result = model(SAMPLE_IMAGE, save=True)

Đối tượng Results trả về chính là đối tượng mà mọi family đều trả về, nên đổi sang một bộ phát hiện khác chỉ là thay đổi một dòng. conf và max_det lọc các đỉnh heatmap đã được xếp hạng; iou vẫn được chấp nhận để đồng nhất API nhưng không có tác dụng, vì bước decode top-k đỉnh của CenterNet không cần bước triệt tiêu dựa trên IoU giữa các box. Xem dự đoán để biết về nguồn đầu vào, luồng (stream) và cách xử lý kết quả.

Biến thể

Hai backbone. resdcn18 ghép trunk ResNet-18 với upsampling deformable-convolution; dla34 ghép trunk DLA-34 với upsampling iterative deep-aggregation. Cả hai cùng đưa dữ liệu vào ba head dense giống nhau (heatmap, chiều rộng/chiều cao, offset) và cùng một khung ảnh đầu vào.

Kiểm định

val() trả về một dictionary gồm các khóa metrics/ bao trùm precision, recall, mAP 50 và mAP 50-95, được đo trên bất kỳ tập dữ liệu (dataset) nào ở định dạng mà bạn đã huấn luyện.

from libreyolo import LibreYOLO model = LibreYOLO("LibreCenterNetresdcn18.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreCenterNetresdcn18.pt data=my-dataset.yaml

Xuất mô hình

Xuất ONNX yêu cầu opset 16 trở lên: tầng upsampling deformable-convolution trong cả hai backbone được hạ xuống thành toán tử ONNX GridSample, vốn được opset 16 giới thiệu. Yêu cầu một opset cũ hơn sẽ báo lỗi trước khi bắt đầu tracing.

from libreyolo import LibreYOLO model = LibreYOLO("LibreCenterNetresdcn18.pt") # Xuất ONNX cần opset 16 trở lên: tầng upsampling deformable-convolution# được hạ xuống thành GridSample, toán tử mà opset 16 mới giới thiệumodel.export(format="onnx", opset=18)model.export(format="tensorrt")

libreyolo export model=LibreCenterNetresdcn18.pt format=onnx opset=18

from libreyolo import LibreYOLO # Factory định tuyến theo phần mở rộng của tệp, nên một artifact đã xuất# được nạp như mọi checkpoint và trả về cùng một đối tượng Resultsmodel = LibreYOLO("LibreCenterNetresdcn18.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoint

Mọi tệp trọng số đã công bố cho family này.

Giấy phép

Trích dẫn

@inproceedings{zhou2019objects,
  title={Objects as Points},
  author={Zhou, Xingyi and Wang, Dequan and Kr{\"a}henb{\"u}hl, Philipp},
  booktitle={arXiv preprint arXiv:1904.07850},
  year={2019}
}