D-FINE

Installazione

D-FINE non richiede nessun extra opzionale. Tutto ciò che importa è già nell'installazione di base.

pip install libreyolo

Il fine-tuning con adattatori tramite lora=True è l'eccezione, e richiede l'extra lora.

pip install "libreyolo[lora]"

Predizione

I pesi vengono scaricati da Hugging Face al primo utilizzo e restano nella cache locale.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDFINEn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDFINEn.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Il suffisso -seg nel nome del file seleziona la testa delle maschere,# quindi qui non serve l'argomento task.model = LibreYOLO("LibreDFINEn-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)

L'oggetto Results restituito è quello che restituisce ogni famiglia, quindi passare a un rilevatore diverso è una modifica di una riga. Un nome di file con -seg risolve da solo al task di segmentazione, e result.masks porta allora le maschere di istanza insieme ai box. conf e max_det filtrano la selezione delle query; iou è accettato per parità di API ma non ha effetto, perché il decoder è un predittore di insiemi senza passaggio di NMS. Vedi predizione per sorgenti, streaming e gestione dei risultati.

Varianti

Cinque dimensioni. Girano tutte alla stessa risoluzione di input, quindi la tabella le separa per numero di parametri e accuratezza.

La segmentazione riutilizza il backbone, l'encoder e il decoder del rilevamento e aggiunge una testa per le maschere, quindi un checkpoint -seg accetta gli stessi argomenti del suo equivalente di rilevamento. La famiglia RT-DETRv4 di LibreYOLO è scritta come sottoclasse del wrapper di D-FINE: eredita questa linea di decoder e poi riporta la sua lista di task al solo rilevamento, perché non porta una testa delle maschere.

Addestramento

L'addestramento parte da un checkpoint pubblicato, per entrambi i task.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, imgsz=640, batch=8, lr0=2e-4)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 imgsz=640 batch=8 lr0=2e-4

# Continua dai pesi di segmentazione pubblicati, testa delle maschere inclusa.libreyolo train model=LibreDFINEn-seg.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

# I pesi di rilevamento non portano una testa delle maschere, quindi# questo è un trasferimento esplicito: la testa parte non addestrata ed# è utile solo una volta addestrata. Chiedere task=segment qui è ciò# che autorizza il trasferimento.libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, lora=True)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 device=0,1 batch=16

Senza modifiche, il trainer esegue 132 epoche con lr0=2e-4, amp=True e amp_dtype="float16", un batch di 16 e early stopping dopo 50 epoche senza miglioramenti. libreyolo train parte dalla stessa ricetta per entrambi i task: AdamW con una schedule coseno piatta, weight_decay=1e-4, 2 epoche di warmup, un clip della norma del gradiente a 0.1, e nessuna augmentation con mosaic, MixUp, HSV o affine. Senza name=, le sue esecuzioni vanno in runs/train/dfine_exp. I pesi di rilevamento sono un punto di partenza valido per l'addestramento della segmentazione, ma solo con un trasferimento esplicito: la testa delle maschere parte senza addestramento e altrimenti restituirebbe maschere prive di significato. Passare task=segment alla CLI autorizza il trasferimento. Il percorso Python è più limitato: occorre costruire direttamente LibreDFINE con allow_detect_to_segment_transfer=True, perché la factory LibreYOLO() non accetta questo argomento; la costruzione diretta non scarica i pesi, quindi il file deve essere già sul disco.

lora=True si applica al rilevamento. L'addestramento di segmentazione lo rifiuta e rimanda invece a freeze='backbone', perché la testa delle maschere non è stata testata con gli adattatori. Su Apple silicon il trainer sposta l'intera esecuzione su CPU: il backward pass del matmul a bin dell'Integral incontra un errore di compilazione Metal. L'inferenza su MPS non ne risente.

Vedi addestramento per dataset, data augmentation, multi-GPU e logger.

Validazione

val() restituisce un dizionario indicizzato per nome della metrica, e stampa i risultati per classe se verbose resta attivo.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreDFINEn.pt data=my-dataset.yaml

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # maschereprint(metrics["metrics/mAP50-95(B)"])   # box

Su un checkpoint -seg la chiave metrics/mAP50-95 da sola contiene il punteggio delle maschere, e la stessa esecuzione riporta anche i box sotto (B) e le maschere sotto (M), così entrambi sono disponibili da una sola passata.

Esportazione

Un artefatto esportato si ricarica con LibreYOLO() in base al suffisso del file, quindi un file .onnx o .engine si comporta come un checkpoint e restituisce lo stesso Results. I percorsi OpenVINO, Paddle, MNN e Core AI esportano a canvas fisso invece che con forme dinamiche. Esportazione elenca gli argomenti che ogni formato accetta e gli extra che qualcuno di essi aggiunge.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.export(format="onnx", imgsz=640)model.export(format="tensorrt", imgsz=640, half=True)

libreyolo export model=LibreDFINEn.pt format=onnx imgsz=640libreyolo export model=LibreDFINEn.pt format=tensorrt imgsz=640 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory smista in base al suffisso del file, quindi un artefatto# esportato si carica come qualsiasi checkpoint e restituisce lo stesso# oggetto Results.model = LibreYOLO("LibreDFINEn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Input e output ONNX

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia.

Licenze

Citazione

@misc{peng2024dfine,
      title={D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement},
      author={Yansong Peng and Hebei Li and Peixi Wu and Yueyi Zhang and Xiaoyan Sun and Feng Wu},
      year={2024},
      eprint={2410.13842},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}