D-FINE

Cài đặt

D-FINE không cần extra tùy chọn. Mọi thành phần mà mô hình import đều có trong bản cài đặt cơ sở.

pip install libreyolo

Tinh chỉnh bằng adapter với lora=True là ngoại lệ và cần extra lora.

pip install "libreyolo[lora]"

Dự đoán

Trọng số được tải về từ Hugging Face trong lần sử dụng đầu tiên và được lưu vào bộ nhớ đệm cục bộ.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDFINEn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDFINEn.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Hậu tố -seg trong tên tệp chọn mask head, vì vậy không cần đối số# task ở đây.model = LibreYOLO("LibreDFINEn-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)

Đối tượng Results trả về cũng là đối tượng mà mọi họ mô hình đều trả về, vì vậy việc chuyển sang detector khác chỉ cần thay đổi một dòng. Tên tệp có -seg tự phân giải thành tác vụ phân đoạn, và khi đó result.masks chứa các mặt nạ (mask) thực thể cùng với các box. conf và max_det lọc lựa chọn query; iou được chấp nhận để giữ tính tương đồng của API nhưng không có tác dụng vì decoder là bộ dự đoán tập hợp không có bước NMS. Xem dự đoán để biết về nguồn, xử lý luồng và kết quả.

Biến thể

Có năm kích thước. Tất cả chạy ở cùng độ phân giải đầu vào, vì vậy bảng phân tách chúng theo số lượng tham số và độ chính xác.

Tác vụ phân đoạn dùng lại backbone, encoder và decoder phát hiện rồi bổ sung mask head, vì vậy checkpoint -seg nhận cùng đối số như bản phát hiện tương ứng. Họ RT-DETRv4 của LibreYOLO được viết dưới dạng lớp con của wrapper D-FINE: nó kế thừa dòng decoder này rồi cố định danh sách tác vụ trở lại tác vụ phát hiện vì không có mask head.

Huấn luyện

Quá trình huấn luyện bắt đầu từ checkpoint đã phát hành cho cả hai tác vụ.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, imgsz=640, batch=8, lr0=2e-4)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 imgsz=640 batch=8 lr0=2e-4

# Tiếp tục từ trọng số phân đoạn đã phát hành, bao gồm cả mask head.libreyolo train model=LibreDFINEn-seg.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

# Trọng số phát hiện không có mask head, vì vậy đây là một transfer rõ ràng:# head bắt đầu khi chưa được huấn luyện và chỉ hữu ích sau khi huấn luyện. Việc# chỉ định task=segment ở đây chính là thao tác cho phép transfer.libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, lora=True)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 device=0,1 batch=16

Khi giữ nguyên thiết lập, trainer chạy 132 epoch ở lr0=2e-4 với amp=False, batch 16 và early stopping sau 50 epoch không có cải thiện. Trọng số phát hiện là điểm bắt đầu hợp lệ cho huấn luyện phân đoạn, nhưng chỉ dưới dạng transfer rõ ràng vì mask head bắt đầu khi chưa được huấn luyện và nếu không sẽ trả về các mặt nạ vô nghĩa. Truyền task=segment cho CLI chính là thao tác cho phép điều này. Tuyến Python hẹp hơn: phải khởi tạo trực tiếp LibreDFINE với allow_detect_to_segment_transfer=True vì factory LibreYOLO() không nhận đối số này, và việc khởi tạo trực tiếp không tải xuống nên tệp trọng số phải có sẵn trên đĩa.

lora=True áp dụng cho tác vụ phát hiện. Huấn luyện phân đoạn từ chối tùy chọn này và hướng đến freeze='backbone' thay thế vì mask head chưa được kiểm thử với adapter. Trên Apple silicon, trainer chuyển toàn bộ lượt chạy sang CPU: backward pass của phép nhân ma trận theo bin của Integral gặp lỗi biên dịch Metal. Inference trên MPS không bị ảnh hưởng.

Xem huấn luyện để biết về dataset, tăng cường dữ liệu (data augmentation), multi-GPU và logger.

Xác thực

val() trả về dictionary được lập key theo tên metric và in kết quả cho từng lớp đối tượng khi giữ bật verbose.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreDFINEn.pt data=my-dataset.yaml

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # mặt nạprint(metrics["metrics/mAP50-95(B)"])   # box

Với checkpoint -seg, key metrics/mAP50-95 thuần túy chứa điểm mặt nạ, và cùng lượt chạy đó cũng báo cáo box trong (B) và mặt nạ trong (M), vì vậy cả hai đều có sẵn từ một lượt.

Xuất

Artifact đã xuất được tải lại qua LibreYOLO() dựa trên hậu tố tệp, vì vậy tệp .onnx hoặc .engine hoạt động như checkpoint và trả về cùng đối tượng Results. Các tuyến OpenVINO, Paddle, MNN và Core AI xuất trên canvas cố định thay vì shape động. Trang Xuất liệt kê các đối số được mọi định dạng chấp nhận và các extra mà một số định dạng bổ sung.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.export(format="onnx", imgsz=640)model.export(format="tensorrt", imgsz=640, half=True)

libreyolo export model=LibreDFINEn.pt format=onnx imgsz=640libreyolo export model=LibreDFINEn.pt format=tensorrt imgsz=640 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory định tuyến dựa trên hậu tố tệp, vì vậy artifact đã xuất tải# như mọi checkpoint và trả về cùng đối tượng Results.model = LibreYOLO("LibreDFINEn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoint

Mọi tệp trọng số đã phát hành cho họ mô hình này.

Giấy phép

Trích dẫn

@misc{peng2024dfine,
      title={D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement},
      author={Yansong Peng and Hebei Li and Peixi Wu and Yueyi Zhang and Xiaoyan Sun and Feng Wu},
      year={2024},
      eprint={2410.13842},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}