OV-DEIM

Instalasi

OV-DEIM dimuat melalui tingkat detector open-vocabulary LibreYOLO yang memerlukan extra openvocab:

pip install "libreyolo[openvocab]"

Tidak seperti family lain dalam tingkat ini, OV-DEIM adalah port native LibreYOLO, bukan wrapper transformers. Tidak ada kelas model transformers untuknya, tetapi extra yang sama mencakup paket huggingface_hub, safetensors, regex, dan ftfy yang diperlukan saat prediksi.

Prediksi

OV-DEIM bukan checkpoint yang dimuat LibreYOLO melalui LibreYOLO(). Model ini dimuat melalui factory pendamping LibreOpenVocab, yang mengunduh snapshot Hugging Face saat pertama kali digunakan dan menyimpannya dalam cache di bawah weights/.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-s")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.25)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("ov-deim-l")model.set_classes(["traffic light", "bicycle"])first = model.predict(SAMPLE_IMAGE, conf=0.3) # Panggilan kedua ke set_classes() mengganti vocabulary sepenuhnya dan# membuat embedding ulang melalui text tower. Hasil kosong merupakan# hasil valid, bukan error.model.set_classes(["giraffe"])second = model.predict(SAMPLE_IMAGE, conf=0.5)print(second.names, len(second))

set_classes() menetapkan vocabulary teks yang persisten. Panggil lagi untuk mengganti daftar sepenuhnya atau lewati untuk mempertahankan label COCO-80 default. Hasil kosong merupakan hasil valid, bukan error. Setiap query decoder dinilai berdasarkan cosine similarity terhadap embedding teks dari text tower MobileCLIP-B(LT) bawaan. Embedding dihitung secara online untuk vocabulary apa pun yang ditetapkan dan disimpan dalam cache sampai berubah, sehingga prompt arbitrer bekerja tanpa berkas embedding yang telah dihitung sebelumnya.

OV-DEIM tidak memiliki ambang batas token teks. Hanya conf yang memfilter deteksi, dan meneruskan text_threshold memunculkan error. Pencocokan memakai pemilihan top-K satu-ke-satu, sehingga tidak ada non-maximum suppression yang dijalankan. iou diterima untuk kompatibilitas API, tetapi mengeluarkan peringatan dan tidak melakukan apa pun. imgsz dan augment=True langsung ditolak. Model mengendalikan input letterbox tetap, sedangkan augmentasi waktu pengujian tidak termasuk cakupan tingkat ini. predict() pada satu gambar mengembalikan satu Results, bukan daftar. Teruskan direktori, daftar gambar, atau stream=True untuk sumber video agar memperoleh beberapa hasil. Tidak ada jalur CLI untuk family ini. libreyolo predict hanya memuat checkpoint .pt melalui LibreYOLO(), sehingga family LibreOpenVocab dijalankan dari Python. Lihat prediksi untuk jenis sumber dan streaming.

Setiap panggilan predict() juga menjalankan text tower MobileCLIP-B(LT) bawaan untuk membuat embedding vocabulary saat ini. Lihat Lisensi untuk ketentuan tambahan yang ditimbulkannya.

Varian

Ada tiga checkpoint, s, m, dan l. s adalah ukuran default tingkat ini jika tidak ada ukuran yang diberikan. Tidak seperti family lain dalam tingkat ini, OV-DEIM adalah port native, bukan wrapper transformers. LibreYOLO menyertakan modul detector dengan lisensi Apache-2.0 yang sama seperti kode upstream dan menggunakan kembali adapter backbone DINOv3 yang telah dibuat untuk family DEIMv2. Backbone checkpoint l adalah hasil fine-tuning DINOv3-S yang dilisensikan terpisah berdasarkan DINOv3 License milik Meta. Belum ada angka akurasi atau latensi yang dipublikasikan untuk family ini.

Pelatihan, validasi dataset, dan ekspor berada di luar cakupan tingkat ini: train(), val(), dan export() semuanya selalu memunculkan NotImplementedError. Ini adalah wrapper khusus prediksi untuk checkpoint yang telah dipublikasikan.

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@misc{wang2026ovdeim,
      title={OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation}, 
      author={Leilei Wang and Longfei Liu and Xi Shen and Xuanlong Yu and Ying Tiffany He and Fei Richard Yu and Yingyi Chen},
      year={2026},
      eprint={2603.07022},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2603.07022}, 
}