OMDet-Turbo

Instalación

OMDet-Turbo se carga a través del tier de detectores de vocabulario abierto de LibreYOLO, que necesita el extra openvocab:

pip install "libreyolo[openvocab]"

Ese extra instala transformers y timm, las bibliotecas de Hugging Face a las que llama este tier; el backbone Swin de OMDet-Turbo se carga a través del wrapper TimmBackbone de transformers.

Predicción

OMDet-Turbo no es un checkpoint que LibreYOLO cargue a través de LibreYOLO(). Se carga a través de la factoría hermana LibreOpenVocab, que descarga un snapshot de Hugging Face en el primer uso y lo cachea en weights/.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("omdet-turbo")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.3)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("omdet-turbo")model.set_classes(["traffic light", "bicycle"]) # OMDet-Turbo es la única familia de este tier que respeta iou=: su# propio post-procesado toma el umbral de supresión como argumento,# y vale 0.5 por defecto cuando iou= se deja sin indicar.result = model.predict(SAMPLE_IMAGE, conf=0.3, iou=0.7)print(result.names, len(result))

set_classes() fija un vocabulario de texto persistente: vuelve a llamarla para sustituir la lista por completo, u omítela para conservar las etiquetas COCO-80 por defecto, y un resultado vacío es un desenlace válido en lugar de un error. A diferencia de Grounding DINO, OMDet-Turbo desacopla sus embeddings de clase del prompt de tarea de lenguaje, así que el post-procesado de transformers devuelve etiquetas que se mapean directamente de vuelta a la lista de clases consultada, sin paso de desambiguación de frases.

OMDet-Turbo no tiene umbral de token de texto: solo conf filtra las detecciones, y pasar text_threshold lanza un error. Es la única familia de este tier que ejecuta su propia non-maximum suppression dentro de post_process_grounded_object_detection, así que aquí iou se respeta en lugar de avisar. imgsz y augment=True se rechazan directamente: el procesador de transformers es quien se encarga del redimensionado, y el aumento de datos en tiempo de test queda fuera del alcance de este tier. predict() sobre una única imagen devuelve un Results, no una lista; pasa un directorio, una lista de imágenes o stream=True con una fuente de vídeo para obtener varios. No hay ruta de CLI para esta familia, libreyolo predict solo carga checkpoints .pt a través de LibreYOLO(), así que las familias de LibreOpenVocab se ejecutan desde Python. Consulta predicción para tipos de fuente y streaming.

Variantes

Un único checkpoint, t, el único tamaño del tier. Replica omlab/omdet-turbo-swin-tiny-hf en una revisión upstream fijada a través de OmDetTurboForObjectDetection de transformers; el archivo de pesos replicado es idéntico byte a byte a ese snapshot upstream. Todavía no hay cifras publicadas de precisión ni de latencia para esta familia.

El entrenamiento, la validación de datasets y la exportación quedan todos fuera del alcance de este tier: train(), val() y export() lanzan NotImplementedError de forma incondicional. Esto es un wrapper solo de predicción alrededor de un checkpoint publicado.

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Licencia

Cita

@article{zhao2024real,
  title={Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head},
  author={Zhao, Tiancheng and Liu, Peng and He, Xuan and Zhang, Lu and Lee, Kyusong},
  journal={arXiv preprint arXiv:2403.06892},
  year={2024}
}