OV-DEIM

Встановлення

OV-DEIM завантажується через рівень детекторів LibreYOLO з відкритим словником, для якого потрібен додатковий набір залежностей openvocab:

pip install "libreyolo[openvocab]"

На відміну від решти цього рівня, OV-DEIM є нативним портом LibreYOLO, а не обгорткою transformers: для нього не існує класу моделі transformers. Проте той самий додатковий набір охоплює пакети huggingface_hub, safetensors, regex і ftfy, потрібні під час передбачення.

Передбачення

OV-DEIM не є контрольною точкою, яку LibreYOLO завантажує через LibreYOLO(). Вона завантажується через споріднену фабрику LibreOpenVocab, яка під час першого використання отримує знімок із Hugging Face і кешує його в weights/.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-s")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.25)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-l")model.set_classes(["traffic light", "bicycle"])first = model.predict(SAMPLE_IMAGE, conf=0.3) # Другий виклик set_classes() повністю замінює словник і повторно створює# його ембединги через текстову вежу; порожній результат є допустимим,# а не помилковим.model.set_classes(["giraffe"])second = model.predict(SAMPLE_IMAGE, conf=0.5)print(second.names, len(second))

set_classes() задає текстовий словник, який зберігається для наступних викликів. Викличте метод знову, щоб повністю замінити список, або не викликайте його, щоб залишити типові мітки COCO-80. Порожній результат є допустимим і не вважається помилкою. Кожен запит декодера оцінюється за косинусною подібністю до текстових ембедингів комплектної текстової вежі MobileCLIP-B(LT). Вони обчислюються під час роботи для поточного словника й кешуються до його зміни, тому довільні запити працюють без попередньо обчисленого файлу ембедингів.

OV-DEIM не має порога для текстових токенів: виявлення фільтрує лише conf, а передавання text_threshold спричиняє помилку. Зіставлення виконується взаємно однозначним вибором top-K, тому немаксимальне придушення тут не запускається, а iou приймається для сумісності API, але видає попередження й нічого не робить. imgsz та augment=True одразу відхиляються: модель керує фіксованим входом із letterbox, а аугментація під час тестування не належить до можливостей цього рівня. predict() для одного зображення повертає один об'єкт Results, а не список. Передайте каталог, список зображень або stream=True для джерела відео, щоб отримати кілька результатів. Для цього сімейства немає шляху через CLI: libreyolo predict завантажує лише контрольні точки .pt через LibreYOLO(), тому сімейства LibreOpenVocab запускаються з Python. Типи джерел і потокове передбачення описано в розділі передбачення.

Кожен виклик predict() також запускає комплектну текстову вежу MobileCLIP-B(LT), щоб створити ембединги поточного словника. Додані нею умови пояснено в розділі «Ліцензування».

Варіанти

Доступні три контрольні точки: s, m і l. Якщо розмір не вказано, типовим для цього рівня є s. На відміну від решти рівня, OV-DEIM є нативним портом, а не обгорткою transformers: LibreYOLO включає модулі детектора під тією самою ліцензією Apache-2.0, що й початковий код, і повторно використовує адаптер бекбона DINOv3, уже створений для сімейства DEIMv2. Бекбон контрольної точки l є донавченою DINOv3-S і має окрему DINOv3 License від Meta. Показники правильності та затримки для цього сімейства ще не опубліковано.

Навчання, валідація на датасеті та експорт не належать до можливостей цього рівня: train(), val() і export() завжди спричиняють NotImplementedError. Це обгортка опублікованої контрольної точки лише для передбачення.

Контрольні точки

Усі опубліковані файли ваг цього сімейства.

Ліцензування

Цитування

@misc{wang2026ovdeim,
      title={OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation}, 
      author={Leilei Wang and Longfei Liu and Xi Shen and Xuanlong Yu and Ying Tiffany He and Fei Richard Yu and Yingyi Chen},
      year={2026},
      eprint={2603.07022},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2603.07022}, 
}