Florence-2

Cài đặt

Florence-2 thuộc cấp VLM-as-detector của LibreYOLO, một bề mặt sản phẩm tách biệt với các họ dựa trên checkpoint và có factory riêng. Mô hình cần extra vlm.

pip install "libreyolo[vlm]"

Dự đoán

Trọng số được tải về từ Hugging Face trong lần sử dụng đầu tiên và được lưu vào bộ nhớ đệm cục bộ. LibreYOLO tải bản checkpoint do florence-community đăng lại thay vì repo microsoft/Florence-2-* gốc; xem phần Giấy phép để biết lý do.

from libreyolo import LibreVLM, SAMPLE_IMAGE model = LibreVLM("florence-2-base")model.set_classes(["car", "person", "traffic light"])result = model.predict(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreVLM model = LibreVLM("florence-2-base")model.set_classes(["car", "person", "traffic light"]) # Bất kỳ nguồn nào thư viện chấp nhận: tệp, thư mục, URL, chỉ mục webcam,# luồng RTSP hoặc danh sách .streamsfor result in model.predict("clip.mp4", stream=True, save=True):    print(len(result.boxes))

Họ mô hình này tải qua factory LibreVLM(), không phải LibreYOLO(): các họ VLM không khai báo checkpoint loader, vì vậy cách định tuyến theo hậu tố tệp được mô tả trên các trang mô hình khác không áp dụng ở đây. set_classes() đặt từ vựng mà Florence-2 được yêu cầu tìm trong ảnh; thiết lập này được giữ lại qua mọi lần gọi predict()/track() sau đó cho đến khi bạn đặt lại. Đối tượng Results trả về chứa boxes cùng shape như mọi họ khác, nhưng mọi detection mang cùng độ tin cậy placeholder, vì vậy lọc conf là giữ tất cả hoặc bỏ tất cả thay vì xếp hạng, còn iou không có tác dụng: wrapper Florence-2 xây dựng danh sách detection trực tiếp từ đầu ra task-token đã parse mà không có bước loại trùng. chat() phát sinh NotImplementedError ở đây vì Florence-2 được điều khiển bởi task token <OPEN_VOCABULARY_DETECTION> thay vì chat template. CLI của LibreYOLO không bao quát cấp này: không có dạng libreyolo predict model=... cho mô hình. Xem dự đoán để biết về nguồn, xử lý luồng và kết quả.

Biến thể

Có hai kích thước Florence-2-base và Florence-2-large, cả hai ở 768 px, được tải dưới dạng LibreVLM("florence-2-base") hoặc LibreVLM("florence-2-large"). LibreYOLO chưa công bố benchmark so sánh độ chính xác giữa chúng.

LibreYOLO không huấn luyện, xác thực hoặc xuất Florence-2: train(), val() và export() đều phát sinh NotImplementedError cho mọi họ trong cấp này (xem cấp hỗ trợ bên trên). Hãy tinh chỉnh Florence-2 ở upstream rồi tải trọng số thu được nếu bạn cần đóng cố định từ vựng tùy chỉnh; kiểm tra trực quan đầu ra predict() thay vì lượt xác thực kiểu COCO vì mọi detection mang cùng độ tin cậy placeholder.

Giấy phép

Trích dẫn

@article{xiao2023florence,
  title={Florence-2: Advancing a unified representation for a variety of vision tasks},
  author={Xiao, Bin and Wu, Haiping and Xu, Weijian and Dai, Xiyang and Hu, Houdong and Lu, Yumao and Zeng, Michael and Liu, Ce and Yuan, Lu},
  journal={arXiv preprint arXiv:2311.06242},
  year={2023}
}