YOLOv9

Cài đặt

YOLOv9 không cần extra ngoài gói cơ sở.

pip install libreyolo

Dự đoán

Trọng số được tải từ Hugging Face ở lần dùng đầu tiên và lưu vào bộ nhớ đệm cục bộ.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreYOLO9s.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLO9s.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Cùng lời gọi, checkpoint khác. Head đầu cuối tự trả về các dự đoán có# điểm cao nhất, nên NMS không chạy và iou bị bỏ qua.model = LibreYOLO("LibreYOLO9E2Es.pt")result = model(SAMPLE_IMAGE, conf=0.25, max_det=300) print(len(result.boxes))

Đối tượng Results trả về là loại mà mọi họ đều trả về, nên việc đổi sang detector khác chỉ cần sửa một dòng. Trên mô hình cơ sở và stride-4, conf đặt ngưỡng độ tin cậy và iou đặt ngưỡng NMS. Mô hình đầu cuối không chạy NMS và bỏ qua iou, vì vậy conf cùng max_det quyết định hình dạng đầu ra. Xem dự đoán để biết về nguồn, streaming và xử lý kết quả.

Các biến thể

Ba biến thể dùng chung một backbone. Cả ba chỉ thực hiện phát hiện và nhận cùng các đối số.

Mô hình cơ sở dự đoán trên ba thang feature và loại box trùng lặp bằng NMS.

Mô hình đầu cuối giữ head đó và thêm một nhánh ghép một-một bên cạnh. Suy luận chỉ đọc nhánh một-một và lấy các dự đoán có điểm cao nhất, nên NMS không chạy. Chọn mô hình này khi runtime triển khai không có toán tử NMS.

Mô hình stride-4 đưa ra một cấp cao hơn trên backbone, mở rộng neck xuống cấp đó và dự đoán trên bốn thang thay vì ba. Thang bổ sung dành cho đối tượng chỉ chiếm ít pixel; checkpoint duy nhất đã công bố cho biến thể này được huấn luyện trên ảnh chụp từ trên không. Checkpoint phát hiện cơ sở có thể chuyển sang mô hình: backbone và neck được tải không đổi, ba tower head đã tiền huấn luyện dịch lên một vị trí, còn tower stride-4 bắt đầu từ khởi tạo ngẫu nhiên.

Huấn luyện

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLO9s.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLO9P2 # Biến thể stride-4 không có checkpoint COCO riêng, nên hãy chỉ định một# checkpoint phát hiện cơ sở: backbone và neck được tải không đổi, còn# tower của head stride-4 bắt đầu từ khởi tạo ngẫu nhiên.model = LibreYOLO9P2(None, size="s")model.train(data="my-dataset.yaml", epochs=100, pretrained="LibreYOLO9s.pt")

pretrained quyết định điểm bắt đầu của lượt chạy. Truyền True để tải checkpoint đã công bố cho cùng mô hình và kích thước, hoặc truyền tên hay đường dẫn cho trường hợp khác. Tensor có shape không khớp sẽ bị bỏ qua thay vì bị từ chối, và lượt chạy ghi lại số lượng đã tải, nên checkpoint được huấn luyện với số lớp khác vẫn là điểm bắt đầu có thể dùng.

Mô hình stride-4 không có checkpoint COCO riêng đã công bố, nên True sẽ phân giải thành tệp không tồn tại và tải xuống thất bại. Hãy chỉ định checkpoint phát hiện cơ sở thay thế.

Xem huấn luyện để biết về tập dữ liệu, tăng cường dữ liệu, multi-GPU và logger.

Mô hình cơ sở có thể huấn luyện một nhánh phụ PGI bên cạnh head chính. Nhánh này chỉ dùng khi huấn luyện: dự đoán và xuất dùng head chính. Một lần chạy gắn nhánh này khi trọng số khởi đầu có chứa tensor PGI hoặc khi huấn luyện từ đầu. Các checkpoint cơ sở đã công bố không chứa tensor nào, nên một lần tinh chỉnh từ chúng chỉ huấn luyện head chính và ghi log điều đó. aux_weight=0.25 vẫn gắn một nhánh mới với trọng số loss đó, còn aux_weight=0 giữ nhánh này tắt. Một lần chạy được tiếp tục giữ nguyên thiết lập PGI của checkpoint. Trên các kích thước m và c, nhánh này là nhánh của upstream: một backbone thứ hai trên ảnh đầu vào, có các stage được CBFuse cộng với các điểm lấy CBLinear từ backbone chính, cùng head riêng của nó, lần lượt là 12.8M và 25.7M tham số chỉ dùng khi huấn luyện ở 80 lớp đối tượng. Các mô hình đầu cuối và stride-4 không có nhánh PGI.

Cả ba biến thể cắt chuẩn L2 của gradient ở 10 trước mỗi bước optimizer; clip_max_norm=0 tắt việc cắt. Việc gán nhãn chấm điểm các anchor ở fp32, kể cả dưới autocast float16. max_labels=300 giới hạn số box được giữ trên mỗi ảnh huấn luyện, và các box vượt giới hạn bị bỏ kèm một cảnh báo một lần; bộ nhớ gán nhãn theo số box thực của từng ảnh, không theo giới hạn này. Momentum SGD tăng từ 0.8 lên 0.937 trong ba epoch. letterbox_pad=None kế thừa dấu ghi trong checkpoint: trọng số không có dấu dùng topleft, còn các bản chuyển đổi chính thức mới ghi center.

Mosaic của YOLO9 và YOLOX ưu tiên ảnh ghép có nhãn với tối đa 20 lần lấy mẫu; MixUp của YOLO9 dùng cùng chính sách. MixUp tắt theo mặc định (mixup_prob=0). Khi bật, tỉ lệ trộn được lấy từ Beta(1, 1), đồng đều trên [0, 1], như trong MultimediaTechLab/YOLO. Xem histogram sự kiện để biết hồ sơ đầu vào không phải RGB.

Đánh giá

val() trả về từ điển các khóa metrics/ bao gồm precision, recall, mAP 50 và mAP 50-95, được đo trên bất kỳ tập dữ liệu nào theo định dạng bạn đã huấn luyện.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLO9s.pt data=my-dataset.yaml

# YAML COCO đi kèm chứa script tải xuống nhúng sẵn, nên cần quyền rõ ràng# trừ khi tập dữ liệu đã có cục bộ.libreyolo val model=LibreYOLO9c.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Xuất

Dấu kiểm áp dụng cho cả ba biến thể: khi chúng khác nhau, ma trận thể hiện mức hỗ trợ yếu nhất trong ba biến thể.

Artifact đã xuất được tải lại qua LibreYOLO() dựa trên hậu tố tệp, vì vậy tệp .onnx hoặc .engine hoạt động như checkpoint và trả về cùng Results. Cũng hỗ trợ chạy đồ thị trong runtime độc lập không cài LibreYOLO, nhưng khi đó bạn phải tự viết bước tiền xử lý và hậu xử lý.

Với mô hình phát hiện cơ sở, nửa hậu xử lý có thể được đưa vào đồ thị. nms=True trên bản xuất ONNX đặt bước loại bỏ bên trong mô hình, và đầu ra đầu tiên trở thành tensor cố định (1, max_det, 6) có các hàng là x1, y1, x2, y2, score, class, được thêm số 0 sau số lượng phát hiện. Đồ thị đó dùng batch 1 và không có trục động. Mô hình đầu cuối và stride-4 không chấp nhận cờ này.

Mỗi định dạng cài một extra khác nhau và nhận một số đối số riêng. Cả hai đều được trình bày trên trang của định dạng đó.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLO9s.pt format=onnx imgsz=640

libreyolo export model=LibreYOLO9s.pt format=onnx nms=True \  conf=0.25 iou=0.45 max_det=300

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory định tuyến theo hậu tố tệp, nên artifact đã xuất được tải# như mọi checkpoint và trả về cùng đối tượng Results.model = LibreYOLO("LibreYOLO9s.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

TFLite INT8 dùng int8=True cùng dữ liệu hiệu chuẩn.

Đầu vào và đầu ra ONNX

Checkpoint

Mọi tệp trọng số đã công bố cho họ này.

Giấy phép

Trích dẫn

@inproceedings{wang2024yolov9,
      title={{YOLOv9}: Learning What You Want to Learn Using Programmable Gradient Information},
      author={Wang, Chien-Yao and Yeh, I-Hau and Liao, Hong-Yuan Mark},
      year={2024},
      booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
}