DEIM

Instalasi

Tidak ada versi yang memerlukan extra opsional. Semua yang diimpor keduanya sudah tersedia di instalasi dasar.

pip install libreyolo

Fine-tuning adapter dengan lora=True adalah pengecualiannya, dan memerlukan extra lora.

pip install "libreyolo[lora]"

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali dipakai lalu disimpan di cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDEIMn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDEIMn.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO # Versinya menjadi bagian dari nama berkas, dan factory-nya memilih# berdasarkan checkpoint, jadi keduanya dimuat dengan cara yang sama.model = LibreYOLO("LibreDEIMv2pico.pt") # Source apa pun yang diterima library: berkas, folder, URL, indeks# webcam, stream RTSP, atau daftar .streamsfor result in model.predict("clip.mp4", stream=True, save=True):    print(len(result.boxes))

Objek Results yang dikembalikan sama dengan yang dikembalikan setiap family, jadi mengganti detektor dengan yang lain hanya butuh perubahan satu baris. conf dan max_det menyaring decode top-k atas query dan kelas; tidak ada langkah NMS yang perlu disetel, dan iou tetap diterima tetapi tidak dipakai. Lihat prediksi untuk source, streaming dan penanganan hasil.

DEIM menerima imgsz=(height, width) persegi panjang untuk prediksi. DEIMv2 secara eksplisit menolak permintaan prediksi/validasi persegi panjang. Ini tidak berarti pelatihan atau ekspor persegi panjang didukung.

Varian

Versi 1 hadir dengan lima ukuran, semuanya pada ukuran input yang sama. Versi 2 mempertahankan kelima nama itu dan menambahkan tiga ukuran yang lebih kecil, atto, femto dan pico, dan dua yang pertama native pada ukuran input yang lebih rendah daripada sisanya. Karena itu lima kode ukuran ada di kedua versi dan menamai model yang berbeda; versinya ditulis ke dalam nama berkas checkpoint.

Versi 1 mempertahankan arsitektur D-FINE dan mengganti objective klasifikasinya dengan loss matchability-aware dari resep dense one-to-one, sehingga kedua family berbagi hampir semua key state dict dan dibedakan lewat metadata di dalam checkpoint. Versi 2 mempertahankan kontrak pelatihan itu dan mencampur backbone: HGNetv2 di bawah s, dan vision transformer DINOv3 dengan adapter spatial tuning pada s ke atas. Backbone itulah yang menempelkan lisensi kedua pada keempat checkpoint tersebut, jadi baca lisensi sebelum menerapkan salah satunya ke produksi.

Pelatihan

Pelatihan dimulai dari checkpoint yang sudah dipublikasikan. pretrained tidak pernah sampai ke trainer: versi 1 memperingatkan bahwa key itu tidak dikenal lalu mengabaikannya, versi 2 menghapusnya. Keduanya tidak memberi model dengan inisialisasi acak.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt") # coco128.yaml mengunduh sampel 128 gambar saat pertama kali dipakai.# Arahkan `data` ke YAML dataset Anda sendiri untuk pelatihan sungguhan.model.train(data="coco128.yaml", epochs=50, batch=8, lr0=1e-4)

libreyolo train model=LibreDEIMn.pt data=coco128.yaml \  epochs=50 batch=8 lr0=1e-4

from libreyolo import LibreYOLO # Bila dibiarkan kosong, epochs, batch, imgsz dan lr0 diambil dari# resep rilis untuk ukuran yang dimuat.model = LibreYOLO("LibreDEIMv2pico.pt")model.train(data="coco128.yaml", epochs=50)

# Butuh extra lora: pip install "libreyolo[lora]"from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt")model.train(data="coco128.yaml", epochs=50, lora=True)

libreyolo train model=LibreDEIMn.pt data=coco128.yaml \  epochs=50 device=0,1

Berikan lr0 sendiri pada versi 1. Signature train() Python-nya memakai default 4e-4, yaitu laju dari resep COCO yang dipublikasikan, sementara config pelatihan family ini memuat 1e-4 sebagai default fine-tune-nya, dan nilai yang lebih rendah itulah yang dipakai CLI ketika argumennya tidak diberikan. Config itu mencatat pengukuran di baliknya: pada ukuran batch yang benar-benar dipakai saat fine-tuning, pada dataset kecil, laju COCO menurunkan kualitas transfer secara terukur.

Versi 2 menentukan default itu sendiri. Membiarkan epochs, batch, imgsz dan lr0 tidak diisi membuatnya membaca masing-masing dari resep rilis untuk ukuran yang dimuat, sehingga ukuran yang kecil dilatih pada resolusi input masing-masing tanpa perlu diberi tahu, dan nilai yang Anda berikan menimpa resep tersebut. imgsz adalah argumen yang dibatasinya: nilainya harus kelipatan positif dari 32, dan jika tidak, versi 2 memunculkan error sebelum run dimulai.

Lihat pelatihan untuk dataset, augmentasi, multi-GPU dan logger.

DEIM mengaktifkan AMP secara default dengan amp_dtype="float16". Berikan amp=False untuk pelatihan FP32.

Validasi

val() mengembalikan dictionary berisi key metrics/ yang mencakup presisi, recall, mAP 50 dan mAP 50-95, diukur terhadap dataset apa pun dalam format yang dipakai saat pelatihan.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt") # val() mengembalikan dict biasa, bukan objekmetrics = model.val(data="coco128.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])print(metrics["metrics/precision"], metrics["metrics/recall"])

libreyolo val model=LibreDEIMn.pt data=coco128.yaml

# coco-val-only.yaml mengambil 5000 gambar val2017 dan melewati set# pelatihan. Di dalamnya ada skrip unduhan tertanam, jadi butuh izin# eksplisit kecuali datasetnya sudah tersedia secara lokal.libreyolo val model=LibreDEIMn.pt data=coco-val-only.yaml \  allow_download_scripts=True

Baris pada tabel benchmark di atas berasal dari harness benchmark LibreYOLO; catatan di bawah tabel itu mencatat dataset mana yang menghasilkannya dan menautkan catatan run-nya.

Ekspor

Matriks ini mencakup kedua versi dalam satu halaman: bila keduanya berbeda soal suatu format, selnya menampilkan yang lebih lemah di antara keduanya, sehingga tidak ada yang dilebih-lebihkan untuk versi mana pun yang dimuat.

Artefak hasil ekspor dimuat kembali lewat LibreYOLO() berdasarkan sufiks berkasnya, jadi berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama.

# Butuh extra onnx: pip install "libreyolo[onnx]"from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt")path = model.export(format="onnx")print(path)

libreyolo export model=LibreDEIMn.pt format=onnx

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory-nya memilih berdasarkan sufiks berkas, jadi artefak hasil# ekspor dimuat seperti checkpoint biasa dan mengembalikan objek# Results yang sama.model = LibreYOLO("LibreDEIMn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Input dan output ONNX

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@misc{huang2024deim,
      title={DEIM: DETR with Improved Matching for Fast Convergence},
      author={Shihua, Huang and Zhichao, Lu and Xiaodong, Cun and Yongjun, Yu and Xiao, Zhou and Xi, Shen},
      booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
      year={2025},
}

DEIMv2 adalah paper terpisah dan punya blok sitasi sendiri di github.com/Intellindust-AI-Lab/DEIMv2; kutip yang itu jika Anda memakai checkpoint versi 2.