OV-DEIM

インストール

OV-DEIMはLibreYOLOのオープンボキャブラリ検出器層から読み込まれます。この層には openvocab追加パッケージが必要です。

pip install "libreyolo[openvocab]"

この層のほかのモデルと異なり、OV-DEIMはtransformersラッパーではなくLibreYOLOへの ネイティブ移植版で、対応するtransformersモデルクラスはありません。ただし、同じ追加パッケージで 推論時に必要なhuggingface_hub、safetensors、regex、ftfyがインストールされます。

推論

OV-DEIMはLibreYOLOがLibreYOLO()から読み込むチェックポイントではありません。同系列の LibreOpenVocabファクトリから読み込まれ、初回使用時にHugging Faceのスナップショットを ダウンロードしてweights/へキャッシュします。

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-s")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.25)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-l")model.set_classes(["traffic light", "bicycle"])first = model.predict(SAMPLE_IMAGE, conf=0.3) # set_classes()を再度呼び出すと語彙全体を置き換え、text towerで# 再度埋め込み。空の結果もエラーではなく有効な結果model.set_classes(["giraffe"])second = model.predict(SAMPLE_IMAGE, conf=0.5)print(second.names, len(second))

set_classes()は維持されるテキスト語彙を設定します。再度呼び出すとリスト全体を置き換え、 省略するとデフォルトのCOCO-80ラベルを維持します。空の結果もエラーではなく有効な結果です。 各デコーダーqueryは、同梱されたMobileCLIP-B(LT) text towerのテキスト埋め込みベクトルとの コサイン類似度で評価されます。設定された語彙に対してオンラインで計算され、変更されるまで キャッシュされるため、事前計算済みの埋め込みファイルなしで任意のプロンプトを使えます。

OV-DEIMにはtext-tokenしきい値がなく、検出を絞り込むのはconfだけです。 text_thresholdを渡すと例外が発生します。照合は1対1のtop-K選択のため、non-maximum suppressionは 実行されません。iouはAPI互換性のため受け付けますが、警告を表示して何もしません。imgszと augment=Trueは完全に拒否されます。モデルが固定letterbox入力を持ち、test-time augmentationは この層の対象外であるためです。1枚の画像に対するpredict()はリストではなく1個のResultsを 返します。複数の結果を得るには、ディレクトリ、画像のリスト、または動画ソースとstream=Trueを 渡します。このファミリーにCLI経路はありません。libreyolo predictはLibreYOLO()から.pt チェックポイントだけを読み込むため、LibreOpenVocabファミリーはPythonから実行します。 入力ソースの種類とストリーミングについては推論を参照してください。

predict()を呼び出すたびに、現在の語彙を埋め込むため、同梱されたMobileCLIP-B(LT) text towerも 実行されます。それによって追加される条件については「ライセンス」を参照してください。

バリアント

チェックポイントはs、m、lの3種類です。サイズを指定しない場合、この層のデフォルトはsです。 この層のほかのモデルと異なり、OV-DEIMはtransformersラッパーではなくネイティブ移植版です。 LibreYOLOはアップストリームコードと同じApache-2.0ライセンスで検出器モジュールを同梱し、DEIMv2 ファミリー向けに構築済みのDINOv3バックボーンアダプターを再利用します。lチェックポイントの バックボーンはDINOv3-Sのファインチューニング版で、MetaのDINOv3 Licenseに基づいて別途 ライセンスされます。このファミリーでは精度またはレイテンシの数値がまだ公開されていません。

学習、データセット検証、エクスポートはすべてこの層の対象外です。train()、val()、 export()は無条件にNotImplementedErrorを発生させます。これは公開済みチェックポイントの 推論専用ラッパーです。

チェックポイント

このファミリーで公開されているすべての重みファイルです。

ライセンス

引用

@misc{wang2026ovdeim,
      title={OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation}, 
      author={Leilei Wang and Longfei Liu and Xi Shen and Xuanlong Yu and Ying Tiffany He and Fei Richard Yu and Yingyi Chen},
      year={2026},
      eprint={2603.07022},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2603.07022}, 
}