Grounding DINO

Instalasi

Grounding DINO dimuat melalui tingkat detector open-vocabulary LibreYOLO yang memerlukan extra openvocab:

pip install "libreyolo[openvocab]"

Extra tersebut memasang transformers dan timm, yaitu library Hugging Face yang dipanggil oleh tingkat ini.

Prediksi

Grounding DINO bukan checkpoint yang dimuat LibreYOLO melalui LibreYOLO(). Model ini dimuat melalui factory pendamping LibreOpenVocab, yang mengunduh snapshot Hugging Face saat pertama kali digunakan dan menyimpannya dalam cache di bawah weights/.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("grounding-dino-t")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.25)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("grounding-dino-b")model.set_classes(["remote control", "school bus"]) # conf memfilter berdasarkan skor box, sedangkan text_threshold berdasarkan skor token# frasa yang didekode. Keduanya memakai nilai default 0.25 jika tidak ditetapkan.result = model.predict(SAMPLE_IMAGE, conf=0.25, text_threshold=0.3)print(result.names)

set_classes() menetapkan vocabulary teks yang persisten. Panggil lagi untuk mengganti daftar atau lewati untuk mempertahankan label COCO-80 default. Grounding DINO mendekode frasa bebas dari output teksnya sendiri dan memetakan frasa itu kembali ke vocabulary secara mandiri. Kecocokan ternormalisasi yang persis diprioritaskan, kecocokan token utuh diterima, sedangkan frasa ambigu atau tidak cocok dibuang alih-alih ditebak. Karena itu, school bus tidak pernah dipetakan hanya ke bus atau school. Vocabulary yang cukup panjang hingga melampaui batas token encoder teks dibagi menjadi beberapa prompt, dijalankan sebagai forward pass terpisah, lalu digabungkan kembali menjadi satu set deteksi yang dibatasi oleh max_det.

iou diterima untuk kompatibilitas API, tetapi mengeluarkan peringatan dan tidak melakukan apa pun karena tidak ada non-maximum suppression yang dijalankan. imgsz dan augment=True langsung ditolak. Processor transformers mengendalikan resize, sedangkan augmentasi waktu pengujian tidak termasuk cakupan tingkat ini. predict() pada satu gambar mengembalikan satu Results, bukan daftar. Teruskan direktori, daftar gambar, atau stream=True untuk sumber video agar memperoleh beberapa hasil. Tidak ada jalur CLI untuk family ini. libreyolo predict hanya memuat checkpoint .pt melalui LibreYOLO(), sehingga family LibreOpenVocab dijalankan dari Python. Lihat prediksi untuk jenis sumber dan streaming.

Varian

Ada dua checkpoint, t dan b. t adalah ukuran default tingkat ini bila tidak ada ukuran yang diberikan. Keduanya mencerminkan rilis resmi IDEA Research melalui GroundingDinoForObjectDetection milik transformers, yang diunduh satu kali ke snapshot Hugging Face yang dihosting LibreYOLO dan tetap mempertahankan berkas upstream. Belum ada angka akurasi atau latensi yang dipublikasikan untuk family ini.

Pelatihan, validasi dataset, dan ekspor berada di luar cakupan tingkat ini: train(), val(), dan export() semuanya selalu memunculkan NotImplementedError. Ini adalah wrapper khusus prediksi untuk checkpoint yang telah dipublikasikan.

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@article{liu2023grounding,
  title={Grounding dino: Marrying dino with grounded pre-training for open-set object detection},
  author={Liu, Shilong and Zeng, Zhaoyang and Ren, Tianhe and Li, Feng and Zhang, Hao and Yang, Jie and Li, Chunyuan and Yang, Jianwei and Su, Hang and Zhu, Jun and others},
  journal={arXiv preprint arXiv:2303.05499},
  year={2023}
}