D-FINE

Instalasi

D-FINE tidak memerlukan extra opsional. Semua yang diimpornya sudah ada di instalasi dasar.

pip install libreyolo

Fine-tuning berbasis adapter dengan lora=True adalah pengecualian, dan memerlukan extra lora.

pip install "libreyolo[lora]"

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali dipakai dan disimpan di cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDFINEn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDFINEn.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Sufiks -seg pada nama berkas memilih mask head, jadi argumen task# tidak diperlukan di sini.model = LibreYOLO("LibreDFINEn-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)

Objek Results yang dikembalikan sama dengan yang dikembalikan setiap family, jadi mengganti detektor cukup lewat perubahan satu baris. Nama berkas dengan -seg mengarah ke task segmentasi dengan sendirinya, dan result.masks lalu membawa mask instance berdampingan dengan box. conf dan max_det menyaring pemilihan query; iou diterima demi keseragaman API tetapi tidak berpengaruh, karena decoder-nya adalah set predictor tanpa langkah NMS. Lihat prediksi untuk sumber, streaming dan penanganan hasil.

Varian

Lima ukuran. Semuanya berjalan pada resolusi input yang sama, jadi tabel membedakannya lewat jumlah parameter dan akurasi.

Segmentasi memakai ulang backbone, encoder dan decoder deteksi lalu menambahkan mask head, jadi checkpoint -seg menerima argumen yang sama dengan saudaranya yang detect. Family RT-DETRv4 di LibreYOLO ditulis sebagai subclass dari wrapper D-FINE: ia mewarisi jalur decoder ini lalu mengunci daftar task-nya kembali ke deteksi, karena tidak membawa mask head.

Pelatihan

Pelatihan dimulai dari checkpoint yang dipublikasikan, untuk kedua task.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, imgsz=640, batch=8, lr0=2e-4)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 imgsz=640 batch=8 lr0=2e-4

# Melanjutkan dari bobot segmentasi yang dipublikasikan, mask head ikut serta.libreyolo train model=LibreDFINEn-seg.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

# Bobot detect tidak membawa mask head, jadi ini transfer eksplisit:# head-nya mulai tanpa pelatihan dan baru berguna setelah dilatih.# Meminta task=segment di sini yang mengizinkan transfer tersebut.libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, lora=True)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 device=0,1 batch=16

Jika dibiarkan dengan nilai bawaan, trainer menjalankan 132 epoch pada lr0=2e-4 dengan amp=False, batch 16 dan early stopping setelah 50 epoch tanpa perbaikan. Bobot detect adalah titik awal yang sah untuk pelatihan segmentasi, tetapi hanya sebagai transfer eksplisit, karena mask head-nya mulai tanpa pelatihan dan kalau tidak akan mengembalikan mask yang tidak bermakna. Memberikan task=segment ke CLI itulah yang mengizinkannya. Jalur Python lebih sempit: LibreDFINE harus dikonstruksi langsung dengan allow_detect_to_segment_transfer=True, karena factory LibreYOLO() tidak menerima argumen semacam itu, dan konstruksi langsung tidak melakukan pengunduhan, jadi berkas bobotnya harus sudah ada di disk.

lora=True berlaku untuk deteksi. Pelatihan segment menolaknya dan mengarahkan ke freeze='backbone', karena mask head belum diuji dengan adapter. Di Apple silicon trainer memindahkan seluruh proses ke CPU: backward pass dari binned matmul pada modul Integral memicu kegagalan kompilasi Metal. Inferensi di MPS tidak terpengaruh.

Lihat pelatihan untuk dataset, augmentasi, multi-GPU dan logger.

Validasi

val() mengembalikan dictionary dengan kunci berupa nama metrik, dan mencetak hasil per kelas jika verbose dibiarkan aktif.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreDFINEn.pt data=my-dataset.yaml

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # maskprint(metrics["metrics/mAP50-95(B)"])   # box

Pada checkpoint -seg, kunci metrics/mAP50-95 yang polos berisi skor mask, dan proses yang sama juga melaporkan box di bawah (B) dan mask di bawah (M) sehingga keduanya tersedia dari satu kali jalan.

Ekspor

Artefak hasil ekspor dimuat kembali lewat LibreYOLO() berdasarkan sufiks berkasnya, jadi berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama. Jalur OpenVINO, Paddle, MNN dan Core AI mengekspor pada kanvas tetap, bukan bentuk dinamis. Ekspor memuat daftar argumen yang diterima setiap format dan tambahan yang dipakai beberapa di antaranya.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.export(format="onnx", imgsz=640)model.export(format="tensorrt", imgsz=640, half=True)

libreyolo export model=LibreDFINEn.pt format=onnx imgsz=640libreyolo export model=LibreDFINEn.pt format=tensorrt imgsz=640 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory memilih rute lewat sufiks berkas, jadi artefak hasil ekspor# dimuat seperti checkpoint biasa dan mengembalikan Results yang sama.model = LibreYOLO("LibreDFINEn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@misc{peng2024dfine,
      title={D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement},
      author={Yansong Peng and Hebei Li and Peixi Wu and Yueyi Zhang and Xiaoyan Sun and Feng Wu},
      year={2024},
      eprint={2410.13842},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}