DINO-DETR

DINO-DETR, được IDEA Research công bố với tên DINO, kết hợp huấn luyện khử nhiễu tương phản với lựa chọn query hỗn hợp trên sparse attention của Deformable DETR. LibreYOLO cung cấp ba kích thước chỉ để inference phát hiện.

Tác vụ: detection
Kích thước: r50, r50s5, swinl at 800 px
Cài đặt: pip install libreyolo
Bậc hỗ trợ: Chỉ suy luận, từ v. Chỉ dự đoán, kiểm định và xuất. Không áp dụng các tính năng huấn luyện.
Thượng nguồn: DINO-DETR của IDEA Research, Apache-2.0. Bài báo, mã nguồn
Giấy phép: Mã nguồn Apache-2.0, trọng số Apache-2.0. Sử dụng thương mại

Cài đặt

DINO-DETR không cần extra tùy chọn. Mọi thành phần mà mô hình import đều có trong bản cài đặt cơ sở, sử dụng cùng lõi multi-scale deformable attention thuần PyTorch như họ Deformable DETR của LibreYOLO.

bash

pip install libreyolo

Việc cài đặt libreyolo[hub-kernels] là tùy chọn. Khi có package kernels, LibreYOLO tìm nạp một kernel multi-scale deformable attention đã biên dịch từ Hugging Face Hub tại runtime và dùng nó thay cho lõi thuần PyTorch; LIBREYOLO_HUB_KERNELS=0 sẽ tắt lại tính năng này.

Dự đoán

Trọng số được tải về từ Hugging Face trong lần sử dụng đầu tiên và được lưu vào bộ nhớ đệm cục bộ.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDINODETRr50.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

CLI

libreyolo predict model=LibreDINODETRr50.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Đối tượng Results trả về cũng là đối tượng mà mọi họ mô hình đều trả về, vì vậy việc chuyển sang detector khác chỉ cần thay đổi một dòng. conf và max_det lọc lựa chọn query; iou được chấp nhận để giữ tính tương đồng của API nhưng không có tác dụng vì decoder là bộ dự đoán tập hợp không có bước NMS. Xem dự đoán để biết về nguồn, xử lý luồng và kết quả.

DINO-DETR chỉ dành cho inference trong LibreYOLO. Upstream huấn luyện bằng khử nhiễu tương phản và phép ghép Hungarian; công thức đó không được triển khai ở đây, vì vậy train() phát sinh NotImplementedError.

Biến thể

Có ba checkpoint, tất cả ở cùng độ phân giải đầu vào. r50 và r50s5 dùng chung backbone ResNet-50 và khác nhau ở số lượng tỷ lệ feature map được đưa vào decoder, tương ứng là bốn và năm. swinl thay backbone bằng Swin-L và cũng lấy mẫu năm tỷ lệ.

Xác thực

val() trả về dictionary gồm các key metrics/ cho precision, recall, mAP 50 và mAP 50-95, được đo trên mọi dataset có định dạng giống định dạng bạn đã dùng để huấn luyện.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreDINODETRr50.pt") # val() trả về dict thuần túy, không phải đối tượngmetrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])print(metrics["metrics/precision"], metrics["metrics/recall"])

CLI

libreyolo val model=LibreDINODETRr50.pt data=my-dataset.yaml

Xuất

Tác vụ	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Detection	Detection to ONNX: được hỗ trợ	Detection to TorchScript: được hỗ trợ	Detection to ExecuTorch: được hỗ trợ	Detection to TensorRT: được hỗ trợ	Detection to OpenVINO: được hỗ trợ	Detection to Paddle: không được hỗ trợ	Detection to MNN: không được hỗ trợ	Detection to RKNN: không được hỗ trợ	Detection to ncnn: không được hỗ trợ	Detection to TFLite: không được hỗ trợ	Detection to CoreML: không được hỗ trợ	Detection to Core AI: không được hỗ trợ

Artifact đã xuất được tải lại qua LibreYOLO() dựa trên hậu tố tệp, vì vậy tệp .onnx hoặc .engine hoạt động như checkpoint và trả về cùng đối tượng Results. Trang Xuất liệt kê các đối số mà mọi định dạng chấp nhận.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreDINODETRr50.pt")model.export(format="onnx", imgsz=800)model.export(format="tensorrt", imgsz=800, half=True)

CLI

libreyolo export model=LibreDINODETRr50.pt format=onnx imgsz=800libreyolo export model=LibreDINODETRr50.pt format=tensorrt imgsz=800 half=True

Dùng tệp đã xuất

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory định tuyến dựa trên hậu tố tệp, vì vậy artifact đã xuất tải# như mọi checkpoint và trả về cùng đối tượng Results.model = LibreYOLO("LibreDINODETRr50.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoint

Mọi tệp trọng số đã phát hành cho họ mô hình này.

Tệp	Đầu vào (px)	Giấy phép trọng số
Detection
LibreDINODETRr50.pt	800	apache-2.0
LibreDINODETRr50s5.pt	800	apache-2.0
LibreDINODETRswinl.pt	800	apache-2.0

Mọi tệp ở trên hiện đều có trong tổ chức LibreYOLO và được tải xuống trong lần sử dụng đầu tiên.

Giấy phép

Hãy kiểm tra giấy phép trong repo Hugging Face của trọng số cụ thể mà bạn tải xuống. Mỗi checkpoint trong tổ chức LibreYOLO đều có giấy phép riêng và giấy phép có thể khác nhau trong cùng một họ. Repo đó là nguồn có thẩm quyền; phần tóm tắt dưới đây mô tả các điều khoản áp dụng khi trang này được kiểm chứng lần gần nhất.

Đây là phần mô tả các giấy phép liên quan, không phải tư vấn pháp lý. Nếu câu trả lời có ý nghĩa về mặt thương mại, hãy tự đọc các giấy phép và tham khảo cố vấn của riêng bạn.

Công trình gốc: DINO-DETR, IDEA Research
Giấy phép thượng nguồn: Apache-2.0
Nguồn thượng nguồn: github.com/IDEA-Research/DINO
Mã nguồn LibreYOLO: MIT
Trọng số: Apache-2.0, được phát hành lại tại huggingface.co/LibreYOLO
Diễn giải: Apache-2.0 is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep its license text and attribution notices with any copy of the weights you redistribute, and it grants a patent license. It places no obligation on your own application code, and weights you train yourself on your own data are yours. The three checkpoints come from the authors' Google Drive release rather than a Hugging Face model card, and the upstream repository does not attach a license to the checkpoint files individually, so the redistribution basis is the repository-level Apache-2.0 declaration rather than a checkpoint-specific grant.

Ba checkpoint chính thức đến từ thư mục phát hành Google Drive của tác giả, không phải model card trên Hugging Face. Repo upstream khai báo Apache-2.0 ở cấp repo nhưng không đính kèm tệp giấy phép hoặc metadata giấy phép cho chính các checkpoint, vì vậy cơ sở phân phối lại là khai báo cấp repo đó thay vì một quyền cấp riêng cho checkpoint. Mọi mirror LibreYOLO đều cung cấp nguyên văn nội dung giấy phép Apache-2.0 upstream cùng thông báo giải thích điều này.

Trích dẫn

@misc{zhang2022dino,
      title={DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection}, 
      author={Hao Zhang and Feng Li and Shilong Liu and Lei Zhang and Hang Su and Jun Zhu and Lionel M. Ni and Heung-Yeung Shum},
      year={2022},
      eprint={2203.03605},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@inproceedings{li2022dn,
      title={Dn-detr: Accelerate detr training by introducing query denoising},
      author={Li, Feng and Zhang, Hao and Liu, Shilong and Guo, Jian and Ni, Lionel M and Zhang, Lei},
      booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
      pages={13619--13627},
      year={2022}
}

@inproceedings{
      liu2022dabdetr,
      title={{DAB}-{DETR}: Dynamic Anchor Boxes are Better Queries for {DETR}},
      author={Shilong Liu and Feng Li and Hao Zhang and Xiao Yang and Xianbiao Qi and Hang Su and Jun Zhu and Lei Zhang},
      booktitle={International Conference on Learning Representations},
      year={2022},
      url={https://openreview.net/forum?id=oMI9PjOb9Jl}
}

Được sao chép từ khối trích dẫn của tác giả tại github.com/IDEA-Research/DINO#bibtex.