YOLOv9

Instalasi

YOLOv9 tidak memerlukan komponen tambahan selain paket dasar.

pip install libreyolo

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali digunakan dan disimpan dalam cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreYOLO9s.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLO9s.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Pemanggilan sama, checkpoint berbeda. Head end-to-end mengembalikan prediksi# dengan skor teratasnya sendiri, sehingga NMS tidak berjalan dan iou diabaikan.model = LibreYOLO("LibreYOLO9E2Es.pt")result = model(SAMPLE_IMAGE, conf=0.25, max_det=300) print(len(result.boxes))

Objek Results yang dikembalikan sama dengan yang dikembalikan setiap family, jadi mengganti detektor hanya memerlukan perubahan satu baris. Pada model dasar dan stride-4, conf menetapkan ambang batas confidence dan iou menetapkan ambang NMS. Model end-to-end tidak menjalankan NMS dan mengabaikan iou, sehingga conf dan max_det menentukan bentuk outputnya. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.

Varian

Tiga varian memakai satu backbone. Ketiganya hanya mendeteksi dan menerima argumen yang sama.

Model dasar memprediksi pada tiga skala feature dan menghapus kotak duplikat dengan NMS.

Model end-to-end mempertahankan head tersebut dan menambahkan cabang pencocokan one-to-one di sampingnya. Inferensi hanya membaca cabang one-to-one dan mengambil prediksi dengan skor teratas, sehingga NMS tidak berjalan. Pilih model ini jika runtime deployment tidak memiliki operator NMS.

Model stride-4 mengekspos satu level lebih atas pada backbone, memperpanjang neck ke level tersebut, dan memprediksi pada empat skala, bukan tiga. Skala tambahan ditujukan untuk objek yang hanya mencakup sedikit piksel; satu checkpoint yang dipublikasikan untuknya dilatih pada gambar udara. Checkpoint deteksi dasar dapat ditransfer ke model ini: backbone dan neck dimuat tanpa perubahan, ketiga tower head pretrained bergeser satu slot, dan tower stride-4 dimulai dari inisialisasi acak.

Pelatihan

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLO9s.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLO9P2 # Varian stride-4 tidak memiliki checkpoint COCO sendiri, jadi sebutkan# checkpoint deteksi dasar: backbone dan neck dimuat tanpa perubahan,# sedangkan tower head stride-4 dimulai dari inisialisasi acak.model = LibreYOLO9P2(None, size="s")model.train(data="my-dataset.yaml", epochs=100, pretrained="LibreYOLO9s.pt")

pretrained menentukan titik awal proses. Berikan True untuk memuat checkpoint terbitan bagi model dan ukuran yang sama, atau nama maupun path untuk yang lain. Tensor dengan bentuk yang tidak cocok dilewati, bukan ditolak, dan proses mencatat jumlah tensor yang dimuat, sehingga checkpoint yang dilatih pada jumlah kelas berbeda tetap dapat menjadi titik awal.

Model stride-4 tidak memiliki checkpoint COCO terbitan sendiri, sehingga True diselesaikan menjadi berkas yang tidak ada dan pengunduhan gagal. Sebutkan checkpoint deteksi dasar sebagai gantinya.

Lihat pelatihan untuk dataset, augmentasi, multi-GPU, dan logger.

Model dasar dapat melatih cabang auxiliary PGI di samping head utamanya. Cabang itu hanya untuk pelatihan: prediksi dan ekspor memakai head utama. Sebuah run memasangnya bila bobot awal membawa tensor PGI atau bila melatih dari nol. Checkpoint dasar yang dipublikasikan tidak membawanya, sehingga fine-tuning dari checkpoint itu hanya melatih head utama dan mencatat hal tersebut di log. aux_weight=0.25 tetap memasang cabang baru dengan bobot loss itu, dan aux_weight=0 membiarkannya mati. Run yang dilanjutkan mempertahankan pengaturan PGI checkpoint-nya. Pada ukuran m dan c, cabang itu adalah cabang upstream: backbone kedua pada gambar input, yang stage-nya dijumlahkan CBFuse dengan tap CBLinear dari backbone utama, beserta head-nya sendiri, masing-masing 12.8M dan 25.7M parameter khusus pelatihan pada 80 kelas. Model end-to-end dan stride-4 tidak punya cabang PGI.

Ketiga varian memotong norma L2 gradien pada 10 sebelum setiap langkah optimizer; clip_max_norm=0 mematikan pemotongan. Penetapan label menilai anchor dalam fp32, termasuk di bawah autocast float16. max_labels=300 membatasi jumlah box yang dipertahankan per gambar pelatihan, dan box di luar batas itu dibuang dengan satu peringatan; memori penetapan mengikuti box nyata tiap gambar, bukan batas tersebut. Momentum SGD naik dari 0.8 ke 0.937 selama tiga epoch. letterbox_pad=None mewarisi penanda checkpoint: bobot tanpa penanda memakai topleft, sedangkan konversi resmi baru mencatat center.

Mosaic YOLO9 dan YOLOX mengutamakan gambar pasangan beranotasi dengan maksimal 20 pengambilan sampel; MixUp YOLO9 memakai kebijakan yang sama. MixUp nonaktif secara default (mixup_prob=0). Bila aktif, rasio blend ditarik dari Beta(1, 1), seragam pada [0, 1], seperti di MultimediaTechLab/YOLO. Lihat histogram peristiwa untuk profil input non-RGB.

Validasi

val() mengembalikan dictionary dengan key metrics/ yang mencakup presisi, recall, mAP 50, dan mAP 50-95, yang diukur terhadap dataset apa pun dalam format yang digunakan untuk pelatihan.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLO9s.pt data=my-dataset.yaml

# YAML COCO bawaan menyertakan skrip unduhan tertanam, sehingga# memerlukan izin eksplisit kecuali dataset sudah tersedia secara lokal.libreyolo val model=LibreYOLO9c.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Ekspor

Tanda centang berlaku untuk ketiga varian: jika kemampuannya berbeda, matriks mencantumkan dukungan terlemah dari ketiganya.

Artefak hasil ekspor dimuat kembali melalui LibreYOLO() berdasarkan sufiks berkasnya, sehingga berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama. Menjalankan graph pada runtime mandiri tanpa memasang LibreYOLO juga didukung, tetapi prapemrosesan dan pascapemrosesannya harus ditulis sendiri.

Untuk model deteksi dasar, setengah pascapemrosesan tersebut dapat dipindahkan ke graph. nms=True pada ekspor ONNX menempatkan suppression di dalam model, dan output pertama menjadi tensor tetap (1, max_det, 6) dengan baris x1, y1, x2, y2, score, class, yang diberi padding nol setelah jumlah deteksi. Graph tersebut memakai batch 1 dan tidak memiliki sumbu dinamis. Model end-to-end dan stride-4 tidak menerima flag itu.

Setiap format memasang komponen tambahan berbeda dan menerima beberapa argumen sendiri. Keduanya dijelaskan pada halaman format tersebut.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLO9s.pt format=onnx imgsz=640

libreyolo export model=LibreYOLO9s.pt format=onnx nms=True \  conf=0.25 iou=0.45 max_det=300

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory merutekan berdasarkan sufiks berkas, sehingga artefak hasil ekspor# dimuat seperti checkpoint lain dan mengembalikan objek Results yang sama.model = LibreYOLO("LibreYOLO9s.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

TFLite INT8 memakai int8=True dengan data kalibrasi.

Input dan output ONNX

Checkpoint

Setiap berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@inproceedings{wang2024yolov9,
      title={{YOLOv9}: Learning What You Want to Learn Using Programmable Gradient Information},
      author={Wang, Chien-Yao and Yeh, I-Hau and Liao, Hong-Yuan Mark},
      year={2024},
      booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
}