DeiT

Installation

DeiT braucht nichts über das Basispaket hinaus.

pip install libreyolo

Vorhersage

Diese Familie ist reine Inferenz: train() löst NotImplementedError aus, deshalb hat diese Seite keinen Abschnitt zum Training. Vorhersage, Validierung und Export werden alle unterstützt. Die Gewichte werden beim ersten Aufruf von Hugging Face geladen und lokal zwischengespeichert. Das Suffix -cls im Dateinamen ist Pflicht und wählt die Klassifikationsaufgabe aus.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDeiTb-cls.pt")result = model(SAMPLE_IMAGE) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreDeiTb-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

Das zurückgegebene Results-Objekt trägt einen probs-Tensor statt boxes; top1 und top5 indizieren die 1000 Klassen von ImageNet-1k, und top1conf ist der Softmax-Score der besten Vorhersage. Jede Größe hat eine feste Eingabeauflösung, die aus ihrem Positional Embedding folgt: die Vorverarbeitung skaliert darauf und schneidet mittig zu, und ein abweichendes imgsz löst einen Fehler aus, statt still neu abzutasten. Siehe Vorhersage für Quellen, Streaming und die Weiterverarbeitung der Ergebnisse.

Validierung

val() liefert ein Dictionary mit Top-1- und Top-5-Accuracy, gemessen gegen einen Datensatz in der üblichen Ordnerstruktur aus train/<class>/ und val/<class>/.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeiTb-cls.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreDeiTb-cls.pt data=my-dataset.yaml

Export

Ein exportiertes Artefakt lädt über LibreYOLO() anhand seiner Dateiendung wieder zurück, eine .onnx- oder .engine-Datei verhält sich also wie ein Checkpoint und liefert dasselbe Results. Den Graphen in einer nackten Runtime auszuführen, ganz ohne installiertes LibreYOLO, wird ebenfalls unterstützt, dann musst du Vor- und Nachverarbeitung aber selbst schreiben.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeiTb-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDeiTb-cls.pt format=onnxlibreyolo export model=LibreDeiTb-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Die Factory entscheidet anhand der Dateiendung, ein exportiertes# Artefakt lädt also wie jeder Checkpoint und liefert dasselbe Results.model = LibreYOLO("LibreDeiTb-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoints

Jede veröffentlichte Gewichtsdatei dieser Familie.

Lizenzierung

Zitieren

@InProceedings{pmlr-v139-touvron21a,
  title =     {Training data-efficient image transformers & distillation through attention},
  author =    {Touvron, Hugo and Cord, Matthieu and Douze, Matthijs and Massa, Francisco and Sablayrolles, Alexandre and Jegou, Herve},
  booktitle = {International Conference on Machine Learning},
  pages =     {10347--10357},
  year =      {2021},
  volume =    {139},
  month =     {July}
}