Swin Transformer

Cài đặt

Swin không cần extra tùy chọn. Mọi thành phần mà mô hình import đều có trong bản cài đặt cơ sở.

pip install libreyolo

Dự đoán

Trọng số được tải về từ Hugging Face trong lần sử dụng đầu tiên và được lưu vào bộ nhớ đệm cục bộ.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreSwint-cls.pt")result = model(SAMPLE_IMAGE, save=True) probs = result.probsprint(probs.top1, probs.top1conf)print(probs.top5, probs.top5conf)

libreyolo predict model=LibreSwint-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Bộ phân loại trả về result.probs thay cho result.boxes: top1 và top5 cho chỉ mục lớp đối tượng, còn top1conf và top5conf cho độ tin cậy tương ứng. Mọi kích thước được cố định ở đầu vào 224px vì giai đoạn attention cuối được xây dựng cho độ phân giải đó; dự đoán, xác thực và xuất đều phát sinh lỗi nếu bạn truyền imgsz khác. Xem dự đoán để biết về nguồn, xử lý luồng và kết quả.

Biến thể

Có bốn kích thước từ tiny đến large, được xây dựng từ cùng shifted-window tower và khác nhau ở độ rộng embedding cùng độ sâu giai đoạn. Large được huấn luyện sẵn trên ImageNet-22k rồi tinh chỉnh trên ImageNet-1k; ba kích thước còn lại được huấn luyện trực tiếp trên ImageNet-1k. LibreYOLO chỉ cung cấp họ mô hình này để inference: hỗ trợ dự đoán, xác thực top-1/top-5 kiểu ImageNet và xuất, còn công thức huấn luyện ImageNet upstream chưa được triển khai.

Xác thực

val() chạy trên phần tách kiểu ImageFolder (thư mục có thư mục con train/ và val/, mỗi lớp đối tượng một thư mục) rồi trả về độ chính xác top-1 và top-5.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSwint-cls.pt") # data là thư mục gốc có các phần tách thư mục lớp đối tượng train/ và val/# (bố cục ImageFolder), không phải YAML dataset.metrics = model.val(data="imagenet-1k/") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreSwint-cls.pt data=imagenet-1k/

Xuất

Artifact đã xuất được tải lại qua LibreYOLO() dựa trên hậu tố tệp, vì vậy tệp .onnx hoặc .engine hoạt động như checkpoint và trả về cùng đối tượng Results. Trang Xuất liệt kê các đối số được mọi định dạng chấp nhận và các extra mà một số định dạng bổ sung.

from libreyolo import LibreYOLO model = LibreYOLO("LibreSwint-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreSwint-cls.pt format=onnxlibreyolo export model=LibreSwint-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory định tuyến dựa trên hậu tố tệp, vì vậy artifact đã xuất tải# như mọi checkpoint và trả về cùng đối tượng Results.model = LibreYOLO("LibreSwint-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoint

Mọi tệp trọng số đã phát hành cho họ mô hình này.

Giấy phép

Trích dẫn

@inproceedings{liu2021Swin,
  title={Swin Transformer: Hierarchical Vision Transformer using Shifted Windows},
  author={Liu, Ze and Lin, Yutong and Cao, Yue and Hu, Han and Wei, Yixuan and Zhang, Zheng and Lin, Stephen and Guo, Baining},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
  year={2021}
}