ViT

Классический Vision Transformer: чистый трансформер, применённый к патчам изображения фиксированного размера, с обучаемым class-токеном и без свёрток. LibreYOLO поставляет четыре размера с предобучением AugReg для классификации изображений.

Задачи: classify
Размеры: ti, s, b, l at 224 px
Установка: pip install libreyolo
Уровень поддержки: Только инференс, начиная с v. Только предсказание, валидация и экспорт. Функции обучения неприменимы.
Исходный проект: ViT от Google Research, Apache-2.0. Статья, исходный код
Лицензии: Код: Apache-2.0, веса: Apache-2.0. Коммерческое использование

Установка

ViT не требует опциональных extra. Всё, что он импортирует, входит в базовую установку.

bash

pip install libreyolo

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreViTti-cls.pt")result = model(SAMPLE_IMAGE, save=True) probs = result.probsprint(probs.top1, probs.top1conf)print(probs.top5, probs.top5conf)

CLI

libreyolo predict model=LibreViTti-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Классификатор возвращает result.probs, а не result.boxes: top1 и top5 дают индексы классов, а top1conf и top5conf — их оценки уверенности. Предобработка масштабирует изображение и обрезает его по центру до фиксированного входа 224px, следуя рецепту оценки AugReg из timm: бикубическая интерполяция с долей кропа 0.9. Про источники, стриминг и обработку результатов см. предсказание.

Варианты

Четыре размера, от tiny до large, используют один и тот же граф — фиксированные 224px, patch-16 — и различаются шириной эмбеддинга и глубиной трансформера. LibreYOLO поставляет это семейство только для инференса: предсказание, валидация top-1/top-5 в стиле ImageNet и экспорт поддерживаются, а рецепт дообучения AugReg не реализован.

Валидация

val() работает со сплитом в формате ImageFolder (каталог с подпапками train/ и val/, по одной папке на класс) и возвращает точность top-1 и top-5.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreViTti-cls.pt") # data — это корневой каталог со сплитами train/ и val/ в папках по# классам (формат ImageFolder), а не YAML датасета.metrics = model.val(data="imagenet-1k/") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

CLI

libreyolo val model=LibreViTti-cls.pt data=imagenet-1k/

Экспорт

Задача	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
classify	classify to ONNX: поддерживается	classify to TorchScript: поддерживается	classify to ExecuTorch: поддерживается	classify to TensorRT: поддерживается	classify to OpenVINO: поддерживается	classify to Paddle: не поддерживается	classify to MNN: не поддерживается	classify to RKNN: не поддерживается	classify to ncnn: поддерживается	classify to TFLite: не поддерживается	classify to CoreML: не поддерживается	classify to Core AI: не поддерживается

Экспортированный артефакт загружается обратно через LibreYOLO() по суффиксу файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Экспорт перечисляет аргументы, которые принимает каждый формат, и те дополнительные, что добавляют некоторые из них.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreViTti-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

CLI

libreyolo export model=LibreViTti-cls.pt format=onnxlibreyolo export model=LibreViTti-cls.pt format=tensorrt half=True

Использование экспортированного файла

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по суффиксу файла, поэтому экспортированный# артефакт загружается как любой чекпойнт и возвращает тот же объект Results.model = LibreYOLO("LibreViTti-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Файл	Вход (пикс.)	Лицензия весов
classify
LibreViTti-cls.pt	224	apache-2.0
LibreViTs-cls.pt	224	apache-2.0
LibreViTb-cls.pt	224	apache-2.0
LibreViTl-cls.pt	224	apache-2.0

Все перечисленные выше файлы уже доступны в организации LibreYOLO и скачиваются при первом использовании.

Лицензирование

Проверяйте лицензию в репозитории конкретных весов на Hugging Face. Она указана для каждого чекпойнта в организации LibreYOLO и может различаться даже внутри одного семейства. Этот репозиторий считается авторитетным источником, а сводка ниже описывает условия на момент последней проверки страницы.

Это описание соответствующих лицензий, а не юридическая консультация. Если ответ важен для коммерческого использования, прочитайте лицензии самостоятельно и проконсультируйтесь с юристом.

Оригинальная работа: ViT, Google Research
Лицензия исходного проекта: Apache-2.0
Исходный код проекта: github.com/google-research/vision_transformer
Код LibreYOLO: MIT
Веса: Apache-2.0, повторно опубликованы на huggingface.co/LibreYOLO
Толкование: Apache-2.0 is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep its license text and attribution notices with any copy of the weights you redistribute, and it grants a patent license. It places no obligation on your own application code. LibreYOLO's runtime code for this family is a derived port of the Apache-2.0 timm Vision Transformer implementation (Ross Wightman, huggingface/pytorch-image-models), kept checkpoint-compatible with the shipped tensors. The four AugReg checkpoints themselves are timm's Apache-2.0 conversion of Google Research's own AugReg pretraining, so the code and the weights carry the same permissive terms end to end.

Цитирование

@article{dosovitskiy2020vit,
  title={An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale},
  author={Dosovitskiy, Alexey and Beyer, Lucas and Kolesnikov, Alexander and Weissenborn, Dirk and Zhai, Xiaohua and Unterthiner, Thomas and  Dehghani, Mostafa and Minderer, Matthias and Heigold, Georg and Gelly, Sylvain and Uszkoreit, Jakob and Houlsby, Neil},
  journal={ICLR},
  year={2021}
}

@article{steiner2021augreg,
  title={How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers},
  author={Steiner, Andreas and Kolesnikov, Alexander and and Zhai, Xiaohua and Wightman, Ross and Uszkoreit, Jakob and Beyer, Lucas},
  journal={arXiv preprint arXiv:2106.10270},
  year={2021}
}

Скопировано из блока цитирования авторов на странице github.com/google-research/vision_transformer#bibtex.