DeiT

Instalacja

DeiT nie potrzebuje niczego dodatkowego poza podstawowym pakietem.

pip install libreyolo

Predykcja

Ta rodzina służy wyłącznie do inferencji. Metoda train() zgłasza NotImplementedError, dlatego na tej stronie nie ma sekcji Trenowanie. Obsługiwane są predykcja, walidacja i eksport. Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane lokalnie w pamięci podręcznej. Wymagany sufiks nazwy pliku -cls wybiera zadanie klasyfikacji.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDeiTb-cls.pt")result = model(SAMPLE_IMAGE) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreDeiTb-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

Zwracany obiekt Results zawiera tensor probs zamiast boxes. Pola top1 i top5 indeksują 1000 klas ImageNet-1k, a top1conf jest wynikiem softmax dla najlepszej predykcji. Każdy rozmiar ma stałą rozdzielczość wejściową wynikającą z embeddingu pozycyjnego. Przetwarzanie wstępne zmienia rozmiar i wykonuje kadrowanie centralne do tej rozdzielczości, natomiast podanie innego imgsz zgłasza błąd zamiast niejawnie przeskalować dane. Zobacz stronę predykcji, aby poznać źródła, streaming i obsługę wyników.

Walidacja

val() zwraca słownik z dokładnością top-1 i top-5, mierzony względem zbioru danych ułożonego w konwencjonalnej strukturze folderów train/<class>/ i val/<class>/.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeiTb-cls.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreDeiTb-cls.pt data=my-dataset.yaml

Eksport

Eksportowany artefakt ładuje się z powrotem przez LibreYOLO() na podstawie jego rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak checkpoint i zwraca ten sam Results. Uruchamianie grafu w środowisku uruchomieniowym bez żadnego zainstalowanego LibreYOLO jest również obsługiwane, ale wtedy wstępne i końcowe przetwarzanie należy napisać samodzielnie.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeiTb-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDeiTb-cls.pt format=onnxlibreyolo export model=LibreDeiTb-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka kieruje na podstawie rozszerzenia pliku, więc eksportowany artefakt się ładuje# jak każdy checkpoint i zwraca ten sam obiekt Results.model = LibreYOLO("LibreDeiTb-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencjonowanie

Cytowanie

@InProceedings{pmlr-v139-touvron21a,
  title =     {Training data-efficient image transformers & distillation through attention},
  author =    {Touvron, Hugo and Cord, Matthieu and Douze, Matthijs and Massa, Francisco and Sablayrolles, Alexandre and Jegou, Herve},
  booktitle = {International Conference on Machine Learning},
  pages =     {10347--10357},
  year =      {2021},
  volume =    {139},
  month =     {July}
}