D-FINE

Instalasi

D-FINE tidak memerlukan extra opsional. Semua yang diimpornya sudah ada di instalasi dasar.

pip install libreyolo

Fine-tuning berbasis adapter dengan lora=True adalah pengecualian, dan memerlukan extra lora.

pip install "libreyolo[lora]"

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali dipakai dan disimpan di cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDFINEn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDFINEn.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Sufiks -seg pada nama berkas memilih mask head, jadi argumen task# tidak diperlukan di sini.model = LibreYOLO("LibreDFINEn-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)

Objek Results yang dikembalikan sama dengan yang dikembalikan setiap family, jadi mengganti detektor cukup lewat perubahan satu baris. Nama berkas dengan -seg mengarah ke task segmentasi dengan sendirinya, dan result.masks lalu membawa mask instance berdampingan dengan box. conf dan max_det menyaring pemilihan query; iou diterima demi keseragaman API tetapi tidak berpengaruh, karena decoder-nya adalah set predictor tanpa langkah NMS. Lihat prediksi untuk sumber, streaming dan penanganan hasil.

Varian

Lima ukuran. Semuanya berjalan pada resolusi input yang sama, jadi tabel membedakannya lewat jumlah parameter dan akurasi.

Segmentasi memakai ulang backbone, encoder dan decoder deteksi lalu menambahkan mask head, jadi checkpoint -seg menerima argumen yang sama dengan saudaranya yang detect. Family RT-DETRv4 di LibreYOLO ditulis sebagai subclass dari wrapper D-FINE: ia mewarisi jalur decoder ini lalu mengunci daftar task-nya kembali ke deteksi, karena tidak membawa mask head.

Pelatihan

Pelatihan dimulai dari checkpoint yang dipublikasikan, untuk kedua task.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, imgsz=640, batch=8, lr0=2e-4)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 imgsz=640 batch=8 lr0=2e-4

# Melanjutkan dari bobot segmentasi yang dipublikasikan, mask head ikut serta.libreyolo train model=LibreDFINEn-seg.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

# Bobot detect tidak membawa mask head, jadi ini transfer eksplisit:# head-nya mulai tanpa pelatihan dan baru berguna setelah dilatih.# Meminta task=segment di sini yang mengizinkan transfer tersebut.libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, lora=True)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 device=0,1 batch=16

Secara default, trainer berjalan selama 132 epoch dengan lr0=2e-4, amp=True dan amp_dtype="float16", batch 16, serta early stopping setelah 50 epoch tanpa peningkatan. libreyolo train memulai dari resep yang sama untuk kedua task: AdamW dengan jadwal cosine datar, weight_decay=1e-4, 2 epoch warmup, pemotongan norma gradien 0.1, dan tanpa augmentasi mosaic, MixUp, HSV maupun affine. Tanpa name=, run-nya masuk ke runs/train/dfine_exp. Bobot deteksi dapat menjadi titik awal pelatihan segmentasi, tetapi hanya melalui transfer eksplisit, karena head mask belum dilatih dan akan menghasilkan mask yang tidak bermakna. Memberikan task=segment ke CLI mengizinkan transfer ini. Jalur Python lebih terbatas: LibreDFINE harus dibuat langsung dengan allow_detect_to_segment_transfer=True, karena factory LibreYOLO() tidak menerima argumen tersebut. Konstruksi langsung tidak mengunduh bobot, sehingga berkas bobot harus sudah ada di disk.

lora=True berlaku untuk deteksi. Pelatihan segment menolaknya dan mengarahkan ke freeze='backbone', karena mask head belum diuji dengan adapter. Di Apple silicon trainer memindahkan seluruh proses ke CPU: backward pass dari binned matmul pada modul Integral memicu kegagalan kompilasi Metal. Inferensi di MPS tidak terpengaruh.

Lihat pelatihan untuk dataset, augmentasi, multi-GPU dan logger.

Validasi

val() mengembalikan dictionary dengan kunci berupa nama metrik, dan mencetak hasil per kelas jika verbose dibiarkan aktif.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreDFINEn.pt data=my-dataset.yaml

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # maskprint(metrics["metrics/mAP50-95(B)"])   # box

Pada checkpoint -seg, kunci metrics/mAP50-95 yang polos berisi skor mask, dan proses yang sama juga melaporkan box di bawah (B) dan mask di bawah (M) sehingga keduanya tersedia dari satu kali jalan.

Ekspor

Artefak hasil ekspor dimuat kembali lewat LibreYOLO() berdasarkan sufiks berkasnya, jadi berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama. Jalur OpenVINO, Paddle, MNN dan Core AI mengekspor pada kanvas tetap, bukan bentuk dinamis. Ekspor memuat daftar argumen yang diterima setiap format dan tambahan yang dipakai beberapa di antaranya.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.export(format="onnx", imgsz=640)model.export(format="tensorrt", imgsz=640, half=True)

libreyolo export model=LibreDFINEn.pt format=onnx imgsz=640libreyolo export model=LibreDFINEn.pt format=tensorrt imgsz=640 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory memilih rute lewat sufiks berkas, jadi artefak hasil ekspor# dimuat seperti checkpoint biasa dan mengembalikan Results yang sama.model = LibreYOLO("LibreDFINEn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Input dan output ONNX

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@misc{peng2024dfine,
      title={D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement},
      author={Yansong Peng and Hebei Li and Peixi Wu and Yueyi Zhang and Xiaoyan Sun and Feng Wu},
      year={2024},
      eprint={2410.13842},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}