OV-DEIM

Instalacja

OV-DEIM jest wczytywany przez poziom detektorów z otwartym słownikiem w LibreYOLO, który wymaga dodatku openvocab:

pip install "libreyolo[openvocab]"

W przeciwieństwie do pozostałych rodzin tego poziomu OV-DEIM jest natywnym portem LibreYOLO, a nie wrapperem transformers. Nie istnieje dla niego klasa modelu transformers, ale ten sam dodatek obejmuje pakiety huggingface_hub, safetensors, regex i ftfy wymagane podczas predykcji.

Predykcja

OV-DEIM nie jest checkpointem wczytywanym przez LibreYOLO za pomocą LibreYOLO(). Korzysta z pokrewnej fabryki LibreOpenVocab, która przy pierwszym użyciu pobiera snapshot Hugging Face i zapisuje go w pamięci podręcznej w weights/.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-s")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.25)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-l")model.set_classes(["traffic light", "bicycle"])first = model.predict(SAMPLE_IMAGE, conf=0.3) # Drugie wywołanie set_classes() całkowicie zastępuje słownik i ponownie# tworzy jego embeddingi w wieży tekstowej. Pusty wynik jest poprawnym# rezultatem, a nie błędem.model.set_classes(["giraffe"])second = model.predict(SAMPLE_IMAGE, conf=0.5)print(second.names, len(second))

set_classes() ustawia trwały słownik tekstowy. Ponowne wywołanie całkowicie zastępuje listę, a pominięcie zachowuje domyślne etykiety COCO-80. Pusty wynik jest poprawnym rezultatem, a nie błędem. Każde zapytanie dekodera jest oceniane według podobieństwa cosinusowego względem embeddingów tekstowych z dołączonej wieży tekstowej MobileCLIP-B(LT). Są one obliczane na bieżąco dla ustawionego słownika i zachowywane w pamięci podręcznej do jego zmiany, dlatego dowolne prompty działają bez wcześniej obliczonego pliku embeddingów.

OV-DEIM nie ma progu tokenów tekstowych. Detekcje filtruje wyłącznie conf, a przekazanie text_threshold zgłasza błąd. Dopasowanie jest wyborem top-K jeden do jednego, dlatego nie jest tu uruchamiane tłumienie niemaksymalne. Argument iou jest przyjmowany dla zgodności API, ale powoduje ostrzeżenie i nic nie robi. Argumenty imgsz i augment=True są odrzucane. Model ma stałe wejście z letterboxingiem, a augmentacja podczas testowania pozostaje poza zakresem tego poziomu. predict() dla jednego obrazu zwraca jeden obiekt Results, a nie listę. Katalog, listę obrazów lub stream=True ze źródłem wideo należy przekazać, aby uzyskać kilka wyników. Dla tej rodziny nie ma ścieżki CLI. libreyolo predict wczytuje przez LibreYOLO() wyłącznie checkpointy .pt, dlatego rodziny LibreOpenVocab uruchamia się z Pythona. Informacje o typach źródeł i streamingu zawiera strona predykcji.

Każde wywołanie predict() uruchamia także dołączoną wieżę tekstową MobileCLIP-B(LT), aby utworzyć embeddingi bieżącego słownika. Sekcja Licencja opisuje dodane przez nią warunki.

Warianty

Dostępne są trzy checkpointy, s, m i l. s jest domyślnym rozmiarem tego poziomu, gdy nie podano żadnego. W przeciwieństwie do pozostałych rodzin tego poziomu OV-DEIM jest natywnym portem, a nie wrapperem transformers. LibreYOLO dołącza moduły detektora na tej samej licencji Apache-2.0 co kod źródłowy i ponownie wykorzystuje adapter backbone DINOv3 zbudowany już dla rodziny DEIMv2. Backbone checkpointu l jest dostrojonym DINOv3-S, objętym osobną licencją DINOv3 License firmy Meta. Nie opublikowano jeszcze wyników dokładności ani opóźnienia tej rodziny.

Trenowanie, walidacja zbioru danych i eksport pozostają poza zakresem tego poziomu. train(), val() i export() zawsze zgłaszają NotImplementedError. Jest to wrapper przeznaczony wyłącznie do predykcji z opublikowanym checkpointem.

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencja

Cytowanie

@misc{wang2026ovdeim,
      title={OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation}, 
      author={Leilei Wang and Longfei Liu and Xi Shen and Xuanlong Yu and Ying Tiffany He and Fei Richard Yu and Yingyi Chen},
      year={2026},
      eprint={2603.07022},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2603.07022}, 
}