LW-DETR

Installazione

LW-DETR non richiede nessun extra opzionale. Tutto ciò che importa è già nell'installazione di base.

pip install libreyolo

Predizione

I pesi vengono scaricati da Hugging Face al primo utilizzo e restano nella cache locale.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreLWDETRt.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreLWDETRt.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

L'oggetto Results restituito è quello che restituisce ogni famiglia, quindi passare a un rilevatore diverso è una modifica di una riga. conf e max_det filtrano la selezione delle query; iou è accettato per parità di API ma non ha effetto, perché il decoder è un predittore di insiemi senza passaggio di NMS. Vedi predizione per sorgenti, streaming e gestione dei risultati.

In LibreYOLO, LW-DETR è solo per inferenza. L'upstream lo addestra con la supervisione uno-a-molti di Group-DETR su più gruppi di query e una loss di classificazione consapevole dell'IoU; quella ricetta non è collegata qui, quindi train() solleva NotImplementedError.

Varianti

Cinque dimensioni, che condividono tutte l'encoder a ViT puro, il proiettore multi-scala e il decoder di deformable DETR, e girano tutte alla stessa risoluzione di input. Le due più piccole condividono la larghezza dell'encoder e si distinguono per la profondità in blocchi; le due successive condividono un encoder più largo e si distinguono per quanti livelli del proiettore alimentano il decoder; la più grande sale all'encoder più largo di tutti.

Validazione

val() restituisce un dizionario di chiavi metrics/ che coprono precisione, recall, mAP 50 e mAP 50-95, misurate su qualsiasi dataset nel formato in cui hai addestrato.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLWDETRt.pt") # val() restituisce un dict semplice, non un oggettometrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])print(metrics["metrics/precision"], metrics["metrics/recall"])

libreyolo val model=LibreLWDETRt.pt data=my-dataset.yaml

Esportazione

Un artefatto esportato si ricarica con LibreYOLO() in base al suffisso del file, quindi un file .onnx o .engine si comporta come un checkpoint e restituisce lo stesso Results. Esportazione elenca gli argomenti che ogni formato accetta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLWDETRt.pt")model.export(format="onnx", imgsz=640)model.export(format="tensorrt", imgsz=640, half=True)

libreyolo export model=LibreLWDETRt.pt format=onnx imgsz=640libreyolo export model=LibreLWDETRt.pt format=tensorrt imgsz=640 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory smista in base al suffisso del file, quindi un artefatto# esportato si carica come qualsiasi checkpoint e restituisce lo stesso# oggetto Results.model = LibreYOLO("LibreLWDETRt.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia.

Licenze

Citazione

@article{chen2024lw,
    title={LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection},
    author={Chen, Qiang and Su, Xiangbo and Zhang, Xinyu and Wang, Jian and Chen, Jiahui and Shen, Yunpeng and Han, Chuchu and Chen, Ziliang and Xu, Weixiang and Li, Fanrong and others},
    journal={arXiv preprint arXiv:2406.03459},
    year={2024}
}