OMDet-Turbo

Installazione

OMDet-Turbo si carica attraverso il livello dei rilevatori a vocabolario aperto di LibreYOLO, che richiede l'extra openvocab:

pip install "libreyolo[openvocab]"

Quell'extra porta con sé transformers e timm, le librerie di Hugging Face che questo livello richiama; il backbone Swin di OMDet-Turbo si carica attraverso il wrapper TimmBackbone di transformers.

Predizione

OMDet-Turbo non è un checkpoint che LibreYOLO carica con LibreYOLO(). Si carica con la factory gemella LibreOpenVocab, che al primo utilizzo scarica uno snapshot di Hugging Face e lo mette in cache sotto weights/.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("omdet-turbo")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.3)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("omdet-turbo")model.set_classes(["traffic light", "bicycle"]) # OMDet-Turbo è l'unica famiglia di questo livello che rispetta iou=: il# suo post-processing prende la soglia di soppressione come argomento,# e vale 0.5 se iou= non viene impostato.result = model.predict(SAMPLE_IMAGE, conf=0.3, iou=0.7)print(result.names, len(result))

set_classes() imposta un vocabolario testuale persistente: chiamalo di nuovo per sostituire del tutto la lista, oppure saltalo per tenere le etichette COCO-80 predefinite, e un risultato vuoto è un esito valido e non un errore. A differenza di Grounding DINO, OMDet-Turbo disaccoppia gli embedding delle classi dal prompt testuale del task, così il post-processing di transformers restituisce etichette che si rimappano direttamente sulla lista di classi richiesta, senza alcun passaggio di disambiguazione delle frasi.

OMDet-Turbo non ha una soglia sui token di testo: solo conf filtra i rilevamenti, e passare text_threshold solleva un errore. È l'unica famiglia di questo livello che esegue la propria non-maximum suppression dentro post_process_grounded_object_detection, quindi qui iou viene rispettato invece che segnalato con un avviso. imgsz e augment=True vengono rifiutati del tutto: il ridimensionamento spetta al processor di transformers, e la test-time augmentation è fuori dallo scopo di questo livello. predict() su una singola immagine restituisce un solo Results, non una lista; passa una cartella, una lista di immagini o stream=True per una sorgente video per averne diversi. Non esiste una strada da CLI per questa famiglia, libreyolo predict carica solo checkpoint .pt attraverso LibreYOLO(), quindi le famiglie LibreOpenVocab si eseguono da Python. Vedi predizione per i tipi di sorgente e lo streaming.

Varianti

Un solo checkpoint, t, l'unica dimensione di questo livello. Rispecchia omlab/omdet-turbo-swin-tiny-hf a una revisione upstream fissata, attraverso OmDetTurboForObjectDetection di transformers; il file di pesi replicato è identico byte per byte a quello snapshot upstream. Per questa famiglia non sono ancora pubblicati numeri di accuratezza o di latenza.

L'addestramento, la validazione su dataset e l'esportazione sono tutti fuori dallo scopo di questo livello: train(), val() ed export() sollevano tutti NotImplementedError senza condizioni. Questo è un wrapper di sola predizione attorno a un checkpoint pubblicato.

Checkpoint

Tutti i file di pesi pubblicati per questa famiglia.

Licenze

Citazione

@article{zhao2024real,
  title={Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head},
  author={Zhao, Tiancheng and Liu, Peng and He, Xuan and Zhang, Lu and Lee, Kyusong},
  journal={arXiv preprint arXiv:2403.06892},
  year={2024}
}