ViT

Vision Transformer kinh điển: transformer thuần túy áp dụng lên các patch ảnh kích thước cố định, có class token được học và không dùng phép tích chập. LibreYOLO cung cấp bốn kích thước được huấn luyện sẵn bằng AugReg để phân loại ảnh.

Tác vụ: classify
Kích thước: ti, s, b, l at 224 px
Cài đặt: pip install libreyolo
Bậc hỗ trợ: Chỉ suy luận, từ v. Chỉ dự đoán, kiểm định và xuất. Không áp dụng các tính năng huấn luyện.
Thượng nguồn: ViT của Google Research, Apache-2.0. Bài báo, mã nguồn
Giấy phép: Mã nguồn Apache-2.0, trọng số Apache-2.0. Sử dụng thương mại

Cài đặt

ViT không cần extra tùy chọn. Mọi thành phần mà mô hình import đều có trong bản cài đặt cơ sở.

bash

pip install libreyolo

Dự đoán

Trọng số được tải về từ Hugging Face trong lần sử dụng đầu tiên và được lưu vào bộ nhớ đệm cục bộ.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreViTti-cls.pt")result = model(SAMPLE_IMAGE, save=True) probs = result.probsprint(probs.top1, probs.top1conf)print(probs.top5, probs.top5conf)

CLI

libreyolo predict model=LibreViTti-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Bộ phân loại trả về result.probs thay cho result.boxes: top1 và top5 cho chỉ mục lớp đối tượng, còn top1conf và top5conf cho độ tin cậy tương ứng. Bước tiền xử lý đổi kích thước và cắt giữa về đầu vào cố định 224px bằng công thức đánh giá AugReg của timm: nội suy bicubic với tỷ lệ crop 0,9. Xem dự đoán để biết về nguồn, xử lý luồng và kết quả.

Biến thể

Có bốn kích thước từ tiny đến large, dùng chung graph patch-16 cố định 224px và khác nhau ở độ rộng embedding cùng độ sâu transformer. LibreYOLO chỉ cung cấp họ mô hình này để inference: hỗ trợ dự đoán, xác thực top-1/top-5 kiểu ImageNet và xuất, còn công thức tinh chỉnh AugReg chưa được triển khai.

Xác thực

val() chạy trên phần tách kiểu ImageFolder (thư mục có thư mục con train/ và val/, mỗi lớp đối tượng một thư mục) rồi trả về độ chính xác top-1 và top-5.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreViTti-cls.pt") # data là thư mục gốc có các phần tách thư mục lớp đối tượng train/ và val/# (bố cục ImageFolder), không phải YAML dataset.metrics = model.val(data="imagenet-1k/") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

CLI

libreyolo val model=LibreViTti-cls.pt data=imagenet-1k/

Xuất

Tác vụ	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
classify	classify to ONNX: được hỗ trợ	classify to TorchScript: được hỗ trợ	classify to ExecuTorch: được hỗ trợ	classify to TensorRT: được hỗ trợ	classify to OpenVINO: được hỗ trợ	classify to Paddle: không được hỗ trợ	classify to MNN: không được hỗ trợ	classify to RKNN: không được hỗ trợ	classify to ncnn: được hỗ trợ	classify to TFLite: không được hỗ trợ	classify to CoreML: không được hỗ trợ	classify to Core AI: không được hỗ trợ

Artifact đã xuất được tải lại qua LibreYOLO() dựa trên hậu tố tệp, vì vậy tệp .onnx hoặc .engine hoạt động như checkpoint và trả về cùng đối tượng Results. Trang Xuất liệt kê các đối số được mọi định dạng chấp nhận và các extra mà một số định dạng bổ sung.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreViTti-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

CLI

libreyolo export model=LibreViTti-cls.pt format=onnxlibreyolo export model=LibreViTti-cls.pt format=tensorrt half=True

Dùng tệp đã xuất

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory định tuyến dựa trên hậu tố tệp, vì vậy artifact đã xuất tải# như mọi checkpoint và trả về cùng đối tượng Results.model = LibreYOLO("LibreViTti-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoint

Mọi tệp trọng số đã phát hành cho họ mô hình này.

Tệp	Đầu vào (px)	Giấy phép trọng số
classify
LibreViTti-cls.pt	224	apache-2.0
LibreViTs-cls.pt	224	apache-2.0
LibreViTb-cls.pt	224	apache-2.0
LibreViTl-cls.pt	224	apache-2.0

Mọi tệp ở trên hiện đều có trong tổ chức LibreYOLO và được tải xuống trong lần sử dụng đầu tiên.

Giấy phép

Hãy kiểm tra giấy phép trong repo Hugging Face của trọng số cụ thể mà bạn tải xuống. Mỗi checkpoint trong tổ chức LibreYOLO đều có giấy phép riêng và giấy phép có thể khác nhau trong cùng một họ. Repo đó là nguồn có thẩm quyền; phần tóm tắt dưới đây mô tả các điều khoản áp dụng khi trang này được kiểm chứng lần gần nhất.

Đây là phần mô tả các giấy phép liên quan, không phải tư vấn pháp lý. Nếu câu trả lời có ý nghĩa về mặt thương mại, hãy tự đọc các giấy phép và tham khảo cố vấn của riêng bạn.

Công trình gốc: ViT, Google Research
Giấy phép thượng nguồn: Apache-2.0
Nguồn thượng nguồn: github.com/google-research/vision_transformer
Mã nguồn LibreYOLO: MIT
Trọng số: Apache-2.0, được phát hành lại tại huggingface.co/LibreYOLO
Diễn giải: Apache-2.0 is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep its license text and attribution notices with any copy of the weights you redistribute, and it grants a patent license. It places no obligation on your own application code. LibreYOLO's runtime code for this family is a derived port of the Apache-2.0 timm Vision Transformer implementation (Ross Wightman, huggingface/pytorch-image-models), kept checkpoint-compatible with the shipped tensors. The four AugReg checkpoints themselves are timm's Apache-2.0 conversion of Google Research's own AugReg pretraining, so the code and the weights carry the same permissive terms end to end.

Trích dẫn

@article{dosovitskiy2020vit,
  title={An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale},
  author={Dosovitskiy, Alexey and Beyer, Lucas and Kolesnikov, Alexander and Weissenborn, Dirk and Zhai, Xiaohua and Unterthiner, Thomas and  Dehghani, Mostafa and Minderer, Matthias and Heigold, Georg and Gelly, Sylvain and Uszkoreit, Jakob and Houlsby, Neil},
  journal={ICLR},
  year={2021}
}

@article{steiner2021augreg,
  title={How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers},
  author={Steiner, Andreas and Kolesnikov, Alexander and and Zhai, Xiaohua and Wightman, Ross and Uszkoreit, Jakob and Beyer, Lucas},
  journal={arXiv preprint arXiv:2106.10270},
  year={2021}
}

Được sao chép từ khối trích dẫn của tác giả tại github.com/google-research/vision_transformer#bibtex.