SAM

Cài đặt

SAM cần extra sam, extra này sẽ cài thêm transformers và timm.

pip install "libreyolo[sam]"

Dự đoán

LibreSAM(...) là một điểm vào riêng, khác với LibreYOLO(...): nó trả về một mô hình phân đoạn dùng prompt thay vì detector, vì forward pass ở đây không có ý nghĩa nếu thiếu prompt không gian. Không có lệnh CLI libreyolo predict cho họ này; hãy dùng Python API.

from libreyolo import LibreSAM, SAMPLE_IMAGE # "base" tự động tải facebook/sam-vit-base ở lần dùng đầu tiên.# Các kích thước khác: "large", "huge" (cũng có thể dùng "b"/"l"/"h").model = LibreSAM("base") # Prompt điểm: [x, y] theo tọa độ pixel, nhãn 1 = tiền cảnh.result = model.predict(SAMPLE_IMAGE, points=[640, 420], labels=[1])print(result.masks.xy)      # đa giác cho mỗi maskprint(result.boxes.xyxy)    # box khít suy ra từ mask # Dùng prompt box thay cho điểm.result = model.predict(SAMPLE_IMAGE, bboxes=[300, 200, 900, 700]) # Không có prompt sẽ phân đoạn toàn bộ ảnh (một trình tạo mask tự động# đơn giản hóa, không phải bản tham chiếu vét cạn).result = model.predict(SAMPLE_IMAGE)

from libreyolo import LibreSAM, SAMPLE_IMAGE model = LibreSAM("base") # Bộ mã hóa ảnh là phần tốn kém. set_image() chạy nó một lần;# mỗi lời gọi predict() sau đó dùng lại embedding đã lưu trong bộ nhớ đệm.model.set_image(SAMPLE_IMAGE)a = model.predict(points=[640, 420], labels=[1])b = model.predict(bboxes=[300, 200, 900, 700])model.reset_image()

Prompt điểm nhận [x, y] cho một đối tượng, [[x, y], ...] cho nhiều đối tượng hoặc mảng numpy; labels đánh dấu từng điểm là 1 (tiền cảnh) hoặc 0 (hậu cảnh) và mặc định tất cả đều là tiền cảnh. Prompt box nhận [x1, y1, x2, y2] hoặc danh sách các box, mỗi box cho một mask. Nếu bỏ cả hai prompt, mô hình phân đoạn toàn bộ ảnh bằng cách đặt prompt trên một lưới dày và giữ lại các mask có độ tin cậy cao, không chồng lấn; chế độ "phân đoạn mọi thứ" này được đơn giản hóa so với trình tạo mask tự động tham chiếu và có thể phân đoạn thiếu trong cảnh đông đúc, vì vậy prompt điểm hoặc box thực sự là cách chính xác hơn. conf lọc theo chất lượng mask dự đoán (IoU), không phải độ tin cậy phát hiện: truyền 0.0 để giữ mọi ứng viên. multimask=True trả về cả ba mask biểu diễn sự nhập nhằng toàn thể so với bộ phận của SAM cho mỗi prompt thay vì chỉ mask tốt nhất. device= chuyển mô hình và, nếu đang có phiên set_image(), cả embedding đã lưu trong bộ nhớ đệm. Mỗi mask mang class id 0, tên "object", vì mask dùng prompt không có tập lớp cố định. train(), val(), export() và track() đều phát sinh NotImplementedError cho họ này: SAM chỉ hỗ trợ dự đoán trong LibreYOLO và việc theo dõi video nằm ngoài phạm vi. Xem dự đoán để biết các loại nguồn.

Các biến thể

Ba kích thước bộ mã hóa ảnh ViT là base, large và huge, tất cả có đầu vào cố định 1024 px. Chưa có benchmark về độ chính xác hoặc độ trễ được công bố cho họ này, vì vậy việc chọn kích thước là sự đánh đổi trực tiếp giữa trọng lượng bộ mã hóa và chất lượng mask: base mã hóa nhanh nhất, huge nặng nhất.

Giấy phép

Trích dẫn

@article{kirillov2023segany,
  title={Segment Anything},
  author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C. and Lo, Wan-Yen and Doll{\'a}r, Piotr and Girshick, Ross},
  journal={arXiv:2304.02643},
  year={2023}
}