OV-DEIM

설치

OV-DEIM은 LibreYOLO의 오픈 보캐뷸러리 탐지기 티어를 통해 불러오며 openvocab extra가 필요합니다.

pip install "libreyolo[openvocab]"

이 티어의 다른 계열과 달리 OV-DEIM은 transformers 래퍼가 아닌 LibreYOLO 네이티브 이식입니다. 따라서 해당 모델의 transformers 모델 클래스는 없지만, 같은 extra가 예측 시 필요한 huggingface_hub, safetensors, regex, ftfy 패키지를 설치합니다.

예측

OV-DEIM은 LibreYOLO가 LibreYOLO()를 통해 불러오는 체크포인트가 아닙니다. 형제 팩토리인 LibreOpenVocab을 통해 불러오며 처음 사용할 때 Hugging Face 스냅샷을 다운로드해 weights/ 아래에 캐시합니다.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-s")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.25)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-l")model.set_classes(["traffic light", "bicycle"])first = model.predict(SAMPLE_IMAGE, conf=0.3) # set_classes()를 두 번째로 호출하면 어휘를 완전히 교체하고 텍스트 타워로# 다시 임베딩합니다. 빈 결과는 오류가 아니라 유효한 결과입니다.model.set_classes(["giraffe"])second = model.predict(SAMPLE_IMAGE, conf=0.5)print(second.names, len(second))

set_classes()는 지속되는 텍스트 어휘를 설정합니다. 다시 호출하면 목록을 완전히 교체할 수 있고, 호출하지 않으면 기본 COCO-80 레이블을 유지합니다. 빈 결과는 오류가 아니라 유효한 결과입니다. 각 디코더 쿼리는 포함된 MobileCLIP-B(LT) 텍스트 타워의 텍스트 임베딩과 코사인 유사도로 점수가 매겨집니다. 설정된 어휘마다 온라인으로 계산되고 어휘가 바뀔 때까지 캐시되므로 사전 계산된 임베딩 파일 없이 임의 프롬프트를 사용할 수 있습니다.

OV-DEIM에는 텍스트 토큰 임곗값이 없습니다. conf만 탐지를 필터링하며 text_threshold를 전달하면 예외가 발생합니다. 일치는 일대일 top-K 선택이므로 비최대 억제를 실행하지 않습니다. iou는 API 호환성을 위해 허용되지만 경고만 표시하고 아무 작업도 하지 않습니다. imgsz와 augment=True는 즉시 거부됩니다. 모델이 고정된 레터박스 입력을 직접 관리하며 테스트 시간 증강은 이 티어의 범위에 포함되지 않습니다. 이미지 하나에 predict()를 호출하면 목록이 아닌 Results 하나를 반환합니다. 디렉터리나 이미지 목록을 전달하거나 동영상 소스에 stream=True를 사용하면 여러 결과를 얻습니다. 이 계열에는 CLI 경로가 없습니다. libreyolo predict는 LibreYOLO()를 통해 .pt 체크포인트만 불러오므로 LibreOpenVocab 계열은 Python에서 실행합니다. 소스 유형과 스트리밍은 예측을 참조합니다.

predict()를 호출할 때마다 포함된 MobileCLIP-B(LT) 텍스트 타워도 실행되어 현재 어휘를 임베딩합니다. 이에 따라 추가되는 약관은 라이선스를 참조합니다.

변형

체크포인트는 s, m, l 세 가지입니다. 크기를 지정하지 않으면 s가 이 티어의 기본값입니다. 이 티어의 다른 계열과 달리 OV-DEIM은 transformers 래퍼가 아닌 네이티브 이식입니다. LibreYOLO는 업스트림 코드와 같은 Apache-2.0 라이선스로 탐지기 모듈을 벤더링하고 DEIMv2 계열용으로 이미 구축된 DINOv3 백본 어댑터를 재사용합니다. l 체크포인트의 백본은 DINOv3-S 파인튜닝 모델이며 Meta의 DINOv3 License가 별도로 적용됩니다. 아직 이 계열의 정확도나 지연 시간 수치는 공개되지 않았습니다.

학습, 데이터셋 검증, 내보내기는 모두 이 티어의 범위에 포함되지 않습니다. train(), val(), export()는 조건 없이 NotImplementedError를 발생시킵니다. 공개된 체크포인트를 감싼 예측 전용 래퍼입니다.

체크포인트

이 계열에 공개된 모든 가중치 파일입니다.

라이선스

인용

@misc{wang2026ovdeim,
      title={OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation}, 
      author={Leilei Wang and Longfei Liu and Xi Shen and Xuanlong Yu and Ying Tiffany He and Fei Richard Yu and Yingyi Chen},
      year={2026},
      eprint={2603.07022},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2603.07022}, 
}