OMDet-Turbo

Instalacja

OMDet-Turbo jest wczytywany przez poziom detektorów z otwartym słownikiem w LibreYOLO, który wymaga dodatku openvocab:

pip install "libreyolo[openvocab]"

Ten dodatek instaluje transformers i timm, biblioteki Hugging Face używane przez ten poziom. Backbone Swin modelu OMDet-Turbo jest wczytywany przez wrapper TimmBackbone z transformers.

Predykcja

OMDet-Turbo nie jest checkpointem wczytywanym przez LibreYOLO za pomocą LibreYOLO(). Korzysta z pokrewnej fabryki LibreOpenVocab, która przy pierwszym użyciu pobiera snapshot Hugging Face i zapisuje go w pamięci podręcznej w weights/.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("omdet-turbo")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.3)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("omdet-turbo")model.set_classes(["traffic light", "bicycle"]) # OMDet-Turbo jest jedyną rodziną tego poziomu, która respektuje iou=. Jej# własne przetwarzanie końcowe przyjmuje próg tłumienia jako argument,# domyślnie 0.5, gdy iou= nie zostanie ustawione.result = model.predict(SAMPLE_IMAGE, conf=0.3, iou=0.7)print(result.names, len(result))

set_classes() ustawia trwały słownik tekstowy. Ponowne wywołanie całkowicie zastępuje listę, a pominięcie zachowuje domyślne etykiety COCO-80. Pusty wynik jest poprawnym rezultatem, a nie błędem. W przeciwieństwie do Grounding DINO, OMDet-Turbo oddziela embeddingi klas od promptu zadania językowego, dlatego przetwarzanie końcowe transformers zwraca etykiety mapowane bezpośrednio na odpytywaną listę klas, bez etapu rozstrzygania fraz.

OMDet-Turbo nie ma progu tokenów tekstowych. Detekcje filtruje wyłącznie conf, a przekazanie text_threshold zgłasza błąd. Jest to jedyna rodzina tego poziomu, która uruchamia własne tłumienie niemaksymalne wewnątrz post_process_grounded_object_detection, dlatego iou jest tutaj respektowane, a nie ignorowane z ostrzeżeniem. Argumenty imgsz i augment=True są odrzucane. Procesor transformers sam kontroluje zmianę rozmiaru, a augmentacja podczas testowania pozostaje poza zakresem tego poziomu. predict() dla jednego obrazu zwraca jeden obiekt Results, a nie listę. Katalog, listę obrazów lub stream=True ze źródłem wideo należy przekazać, aby uzyskać kilka wyników. Dla tej rodziny nie ma ścieżki CLI. libreyolo predict wczytuje przez LibreYOLO() wyłącznie checkpointy .pt, dlatego rodziny LibreOpenVocab uruchamia się z Pythona. Informacje o typach źródeł i streamingu zawiera strona predykcji.

Warianty

Dostępny jest jeden checkpoint, t, jedyny rozmiar tego poziomu. Jest kopią lustrzaną omlab/omdet-turbo-swin-tiny-hf przy przypiętej rewizji źródłowej, utworzoną za pośrednictwem OmDetTurboForObjectDetection z transformers. Plik wag w kopii lustrzanej jest identyczny bajt po bajcie ze źródłowym snapshotem. Nie opublikowano jeszcze wyników dokładności ani opóźnienia tej rodziny.

Trenowanie, walidacja zbioru danych i eksport pozostają poza zakresem tego poziomu. train(), val() i export() zawsze zgłaszają NotImplementedError. Jest to wrapper przeznaczony wyłącznie do predykcji z opublikowanym checkpointem.

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencja

Cytowanie

@article{zhao2024real,
  title={Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head},
  author={Zhao, Tiancheng and Liu, Peng and He, Xuan and Zhang, Lu and Lee, Kyusong},
  journal={arXiv preprint arXiv:2403.06892},
  year={2024}
}