DeiT

Установка

DeiT не требует ничего сверх базового пакета.

pip install libreyolo

Предсказание

Это семейство доступно только для инференса: train() выбрасывает NotImplementedError, поэтому на этой странице нет раздела про обучение. Предсказание, валидация и экспорт поддерживаются. Веса скачиваются с Hugging Face при первом запуске и кэшируются локально. Суффикс -cls в имени файла обязателен и выбирает задачу классификации.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDeiTb-cls.pt")result = model(SAMPLE_IMAGE) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreDeiTb-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

Возвращаемый объект Results несёт тензор probs, а не boxes; top1 и top5 индексируют 1000 классов ImageNet-1k, а top1conf — это softmax-оценка для лучшего предсказания. У каждого размера своё фиксированное входное разрешение, заданное позиционным эмбеддингом: препроцессинг масштабирует изображение и обрезает его по центру до этого разрешения, а другое значение imgsz приводит к ошибке, а не к молчаливому пересэмплированию. Про источники, стриминг и обработку результатов см. предсказание.

Валидация

val() возвращает словарь с точностью top-1 и top-5, измеренной на датасете, разложенном по обычной структуре папок train/<class>/ и val/<class>/.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeiTb-cls.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreDeiTb-cls.pt data=my-dataset.yaml

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по расширению файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Запуск графа в чистой среде выполнения, без установленной LibreYOLO, тоже поддерживается, но тогда препроцессинг и постпроцессинг придётся писать самостоятельно.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeiTb-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreDeiTb-cls.pt format=onnxlibreyolo export model=LibreDeiTb-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по расширению файла, поэтому экспортированный# артефакт загружается как любой чекпойнт и возвращает тот же объект Results.model = LibreYOLO("LibreDeiTb-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@InProceedings{pmlr-v139-touvron21a,
  title =     {Training data-efficient image transformers & distillation through attention},
  author =    {Touvron, Hugo and Cord, Matthieu and Douze, Matthijs and Massa, Francisco and Sablayrolles, Alexandre and Jegou, Herve},
  booktitle = {International Conference on Machine Learning},
  pages =     {10347--10357},
  year =      {2021},
  volume =    {139},
  month =     {July}
}