Grounding DINO

Cài đặt

Grounding DINO tải qua cấp detector với từ vựng mở của LibreYOLO, cấp này cần extra openvocab:

pip install "libreyolo[openvocab]"

Extra đó kéo về transformers và timm, các thư viện Hugging Face mà cấp này sử dụng.

Dự đoán

Grounding DINO không phải checkpoint mà LibreYOLO tải qua LibreYOLO(). Mô hình tải qua factory LibreOpenVocab cùng cấp, factory này tải snapshot Hugging Face trong lần sử dụng đầu tiên và lưu vào bộ nhớ đệm dưới weights/.

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("grounding-dino-t")model.set_classes(["person", "dog", "skateboard"]) result = model.predict(SAMPLE_IMAGE, conf=0.25)for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreOpenVocab, SAMPLE_IMAGE model = LibreOpenVocab("grounding-dino-b")model.set_classes(["remote control", "school bus"]) # conf lọc theo điểm box, text_threshold lọc theo điểm token của cụm từ# đã giải mã. Cả hai mặc định là 0.25 khi không được đặt.result = model.predict(SAMPLE_IMAGE, conf=0.25, text_threshold=0.3)print(result.names)

set_classes() đặt từ vựng văn bản được giữ lại: gọi lại để thay danh sách hoặc bỏ qua để giữ nhãn COCO-80 mặc định. Grounding DINO giải mã các cụm từ tự do từ đầu ra văn bản của chính nó rồi tự ánh xạ về từ vựng đó; kết quả khớp chuẩn hóa chính xác được ưu tiên, kết quả khớp toàn token được chấp nhận, còn cụm từ mơ hồ hoặc không khớp sẽ bị bỏ thay vì đoán, vì vậy school bus không bao giờ được ánh xạ riêng thành bus hoặc school. Từ vựng đủ dài để vượt giới hạn token của text encoder được chia thành nhiều prompt, chạy như các forward pass riêng và hợp nhất lại thành một tập detection bị giới hạn bởi max_det.

iou được chấp nhận để tương thích API nhưng phát cảnh báo và không làm gì vì không có non-maximum suppression ở đây. imgsz và augment=True bị từ chối hoàn toàn: processor của transformers sở hữu bước đổi kích thước, còn tăng cường khi kiểm thử nằm ngoài phạm vi của cấp này. predict() trên một ảnh trả về một Results, không phải danh sách; truyền thư mục, danh sách ảnh hoặc stream=True cho nguồn video để nhận nhiều kết quả. Không có tuyến CLI cho họ mô hình này; libreyolo predict chỉ tải checkpoint .pt qua LibreYOLO(), vì vậy các họ LibreOpenVocab chạy từ Python. Xem dự đoán để biết loại nguồn và xử lý luồng.

Biến thể

Có hai checkpoint t và b. t là kích thước mặc định của cấp này khi không chỉ định. Cả hai mirror bản phát hành chính thức của IDEA Research qua GroundingDinoForObjectDetection trong transformers, được tải một lần vào snapshot Hugging Face do LibreYOLO host và giữ nguyên các tệp upstream. Chưa có số liệu độ chính xác hoặc độ trễ nào được công bố cho họ mô hình này.

Huấn luyện, xác thực tập dữ liệu (dataset) và xuất đều nằm ngoài phạm vi của cấp này: train(), val() và export() luôn phát sinh NotImplementedError. Đây là wrapper chỉ dành cho dự đoán quanh checkpoint đã phát hành.

Checkpoint

Mọi tệp trọng số đã phát hành cho họ mô hình này.

Giấy phép

Trích dẫn

@article{liu2023grounding,
  title={Grounding dino: Marrying dino with grounded pre-training for open-set object detection},
  author={Liu, Shilong and Zeng, Zhaoyang and Ren, Tianhe and Li, Feng and Zhang, Hao and Yang, Jie and Li, Chunyuan and Yang, Jianwei and Su, Hang and Zhu, Jun and others},
  journal={arXiv preprint arXiv:2303.05499},
  year={2023}
}