ViT

Класичний Vision Transformer є чистим трансформером, застосованим до патчів зображення фіксованого розміру, із навченим токеном класу та без згорток. LibreYOLO постачає чотири попередньо навчені за AugReg розміри для класифікації зображень.

Задачі: classify
Розміри: ti, s, b, l at 224 px
Встановлення: pip install libreyolo
Рівень підтримки: Лише інференс, починаючи з v. Лише передбачення, валідація та експорт. Функції навчання не застосовуються.
Першоджерело: ViT, автори: Google Research, ліцензія Apache-2.0. Стаття, джерело
Ліцензії: Код: Apache-2.0, ваги: Apache-2.0. Комерційне використання

Встановлення

ViT не потребує додаткових залежностей. Усе, що вона імпортує, входить до базового встановлення.

bash

pip install libreyolo

Передбачення

Під час першого використання ваги завантажуються з Hugging Face і кешуються локально.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreViTti-cls.pt")result = model(SAMPLE_IMAGE, save=True) probs = result.probsprint(probs.top1, probs.top1conf)print(probs.top5, probs.top5conf)

CLI

libreyolo predict model=LibreViTti-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Класифікатор повертає result.probs замість result.boxes: top1 і top5 містять індекси класів, а top1conf і top5conf містять їхні оцінки впевненості. Попередня обробка змінює розмір і виконує центральне кадрування до фіксованого входу 224px за рецептом оцінювання AugReg із бібліотеки timm: бікубічна інтерполяція з часткою кадрування 0.9. Типи джерел, потокове передбачення та обробку результатів описано в розділі передбачення.

Варіанти

Доступні чотири розміри від tiny до large. Усі мають один фіксований граф 224px із патчем 16 і відрізняються шириною ембедингу та глибиною трансформера. LibreYOLO постачає це сімейство лише для інференсу: підтримуються передбачення, валідація top-1/top-5 у стилі ImageNet та експорт, а рецепт донавчання AugReg не реалізовано.

Валідація

val() працює з поділом у стилі ImageFolder (каталогом із підкаталогами train/ і val/, що містять по одній папці на клас) та повертає правильність top-1 і top-5.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreViTti-cls.pt") # data є кореневим каталогом із поділом на папки класів train/ і val/# (структура ImageFolder), а не YAML датасету.metrics = model.val(data="imagenet-1k/") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

CLI

libreyolo val model=LibreViTti-cls.pt data=imagenet-1k/

Експорт

Задача	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
classify	classify to ONNX: підтримується	classify to TorchScript: підтримується	classify to ExecuTorch: підтримується	classify to TensorRT: підтримується	classify to OpenVINO: підтримується	classify to Paddle: не підтримується	classify to MNN: не підтримується	classify to RKNN: не підтримується	classify to ncnn: підтримується	classify to TFLite: не підтримується	classify to CoreML: не підтримується	classify to Core AI: не підтримується

Експортований артефакт знову завантажується через LibreYOLO() відповідно до суфікса файлу, тому файл .onnx або .engine поводиться як контрольна точка й повертає той самий об'єкт Results. У розділі експорту наведено аргументи, які приймає кожен формат, і додаткові параметри деяких форматів.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreViTti-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

CLI

libreyolo export model=LibreViTti-cls.pt format=onnxlibreyolo export model=LibreViTti-cls.pt format=tensorrt half=True

Використання експортованого файлу

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика маршрутизує за суфіксом файлу, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibreViTti-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Контрольні точки

Усі опубліковані файли ваг цього сімейства.

Файл	Вхід (пікс.)	Ліцензія ваг
classify
LibreViTti-cls.pt	224	apache-2.0
LibreViTs-cls.pt	224	apache-2.0
LibreViTb-cls.pt	224	apache-2.0
LibreViTl-cls.pt	224	apache-2.0

Кожен наведений вище файл уже доступний у організації LibreYOLO і завантажується під час першого використання.

Ліцензування

Перевіряйте ліцензію в репозиторії Hugging Face конкретних ваг, які завантажуєте. Кожна контрольна точка в організації LibreYOLO має ліцензію, і вона не завжди однакова для всього сімейства. Цей репозиторій є авторитетним джерелом, а наведене нижче резюме описує умови на момент останньої перевірки сторінки.

Це опис відповідних ліцензій, а не юридична консультація. Якщо відповідь має комерційне значення, самостійно прочитайте ліцензії та зверніться по юридичну консультацію.

Оригінальна робота: ViT, Google Research
Ліцензія першоджерела: Apache-2.0
Джерело першоджерела: github.com/google-research/vision_transformer
Код LibreYOLO: MIT
Ваги: Apache-2.0, повторно опубліковано на huggingface.co/LibreYOLO
Тлумачення: Apache-2.0 is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep its license text and attribution notices with any copy of the weights you redistribute, and it grants a patent license. It places no obligation on your own application code. LibreYOLO's runtime code for this family is a derived port of the Apache-2.0 timm Vision Transformer implementation (Ross Wightman, huggingface/pytorch-image-models), kept checkpoint-compatible with the shipped tensors. The four AugReg checkpoints themselves are timm's Apache-2.0 conversion of Google Research's own AugReg pretraining, so the code and the weights carry the same permissive terms end to end.

Цитування

@article{dosovitskiy2020vit,
  title={An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale},
  author={Dosovitskiy, Alexey and Beyer, Lucas and Kolesnikov, Alexander and Weissenborn, Dirk and Zhai, Xiaohua and Unterthiner, Thomas and  Dehghani, Mostafa and Minderer, Matthias and Heigold, Georg and Gelly, Sylvain and Uszkoreit, Jakob and Houlsby, Neil},
  journal={ICLR},
  year={2021}
}

@article{steiner2021augreg,
  title={How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers},
  author={Steiner, Andreas and Kolesnikov, Alexander and and Zhai, Xiaohua and Wightman, Ross and Uszkoreit, Jakob and Beyer, Lucas},
  journal={arXiv preprint arXiv:2106.10270},
  year={2021}
}

Скопійовано з блоку цитування авторів на сторінці github.com/google-research/vision_transformer#bibtex.