Посмотреть как Markdown

EfficientNetV2

EfficientNetV2 — классификатор изображений, у которого глубина, ширина и набор блоков на каждой стадии найдены поиском архитектуры нейросети: он оптимизировался сразу по точности и по скорости обучения, а не по одной только точности. LibreYOLO поддерживает его для одной задачи — классификации.

Задачи
classify
Размеры
b0, b1, b2, b3 at 224 to 300 px
Установка
pip install libreyolo
Уровень поддержки
Поддерживаемый, начиная с v. Дополнительные обучаемые модели: тесты CI поддерживаются в рабочем состоянии, а функции добавляются по возможности.
Исходный проект
EfficientNetV2 от Google, Apache-2.0. Статья, исходный код
Лицензии
Код: Apache-2.0, веса: Apache-2.0. Коммерческое использование

Установка

Для EfficientNetV2 не нужны дополнительные extra-зависимости. Всё, что он импортирует, входит в базовую установку.

bash
pip install libreyolo

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreEfficientNetV2b0-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)
CLI
libreyolo predict model=LibreEfficientNetV2b0-cls.pt source=cat.jpg save=True

Возвращаемый объект Results — тот же, что возвращает любое семейство, поэтому переход на другую модель сводится к правке в одну строку. У классификатора нет ни рамок, ни масок: result.probs содержит предсказание для всего изображения, с полями top1, top5, top1conf и top5conf. Аргументы conf, iou и max_det принимаются ради единообразия API, но ни на что не влияют: в одном векторе вероятностей нечего отсекать по порогу и нечего подавлять. Про источники, стриминг и обработку результатов — предсказание.

Варианты

Четыре размера, от b0 до b3, и каждый оценивается на своём разрешении и со своим коэффициентом обрезки, а не на общем для всего семейства размере входа. Выбор размера — прямой размен числа параметров на точность. Задача зафиксирована: каждый размер закрывает только классификацию. Имя файла весов у всех размеров заканчивается на -cls.pt, и именно по этому суффиксу фабрика определяет семейство; аргумент task= не нужен.

Обучение

Дообучение стартует с опубликованного бэкбона ImageNet и автоматически перестраивает последний слой классификатора под число классов целевого датасета. Если imgsz не задан явно, берётся то разрешение, на котором оценивается сам размер.

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreEfficientNetV2b0-cls.pt")model.train(data="imagenette160", epochs=5)
CLI
libreyolo train model=LibreEfficientNetV2b0-cls.pt data=imagenette160 epochs=5
Multi-GPU
libreyolo train model=LibreEfficientNetV2b0-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Если ничего не менять, обучение идёт 100 эпох с lr0=1e-3 и AdamW, размером батча 64 и ранней остановкой после 50 эпох без улучшений. data принимает корень датасета (train/ и val/, по одной папке на класс), известное короткое имя вроде imagenette160 или URL на .zip. lora=True здесь не поддерживается: при его передаче будет исключение, потому что LoRA в LibreYOLO работает с компонентами трансформеров, где есть слои nn.Linear, а в блоках MBConv этого семейства их нет.

Про датасеты, аугментацию, обучение на нескольких GPU и логгеры — обучение.

Валидация

val() возвращает словарь с ключами metrics/. Для классификации это top-1 и top-5 accuracy на валидационной выборке.

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreEfficientNetV2b0-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])
CLI
libreyolo val model=LibreEfficientNetV2b0-cls.pt data=imagenette160

Экспорт

ЗадачаONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNncnnTFLiteCoreMLCore AI
classifyclassify to ONNX: поддерживаетсяclassify to TorchScript: поддерживаетсяclassify to ExecuTorch: поддерживаетсяclassify to TensorRT: поддерживаетсяclassify to OpenVINO: поддерживаетсяclassify to Paddle: не поддерживаетсяclassify to MNN: не поддерживаетсяclassify to RKNN: не поддерживаетсяclassify to ncnn: поддерживаетсяclassify to TFLite: поддерживаетсяclassify to CoreML: не поддерживаетсяclassify to Core AI: поддерживается

Экспортированный артефакт загружается обратно через LibreYOLO() по суффиксу файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает те же Results. В разделе экспорт перечислены аргументы, которые принимает каждый формат, и дополнительные, которые добавляют некоторые из них.

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreEfficientNetV2b0-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)
CLI
libreyolo export model=LibreEfficientNetV2b0-cls.pt format=onnxlibreyolo export model=LibreEfficientNetV2b0-cls.pt format=tensorrt half=True
Использование экспортированного файла
from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по суффиксу файла, поэтому экспортированный# артефакт загружается как обычный чекпойнт и возвращает тот же Results.model = LibreYOLO("LibreEfficientNetV2b0-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Чекпойнты

Все опубликованные файлы весов этого семейства.

ФайлВход (пикс.)Лицензия весов
classify
LibreEfficientNetV2b0-cls.pt224apache-2.0
LibreEfficientNetV2b1-cls.pt240apache-2.0
LibreEfficientNetV2b2-cls.pt260apache-2.0
LibreEfficientNetV2b3-cls.pt300apache-2.0

Все перечисленные выше файлы уже доступны в организации LibreYOLO и скачиваются при первом использовании.

Лицензирование

Проверяйте лицензию в репозитории конкретных весов на Hugging Face. Она указана для каждого чекпойнта в организации LibreYOLO и может различаться даже внутри одного семейства. Этот репозиторий считается авторитетным источником, а сводка ниже описывает условия на момент последней проверки страницы.

Это описание соответствующих лицензий, а не юридическая консультация. Если ответ важен для коммерческого использования, прочитайте лицензии самостоятельно и проконсультируйтесь с юристом.

Оригинальная работа
EfficientNetV2, Google
Лицензия исходного проекта
Apache-2.0
Исходный код проекта
github.com/huggingface/pytorch-image-models
Код LibreYOLO
MIT
Веса
Apache-2.0, повторно опубликованы на huggingface.co/LibreYOLO
Толкование
Apache-2.0 is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep its license text and attribution notices with any copy of the weights you redistribute, and it grants a patent license. It places no obligation on your own application code, and weights you train yourself on your own data are yours. The architecture is Google's design, whose reference implementation at google/automl is also Apache-2.0; LibreYOLO's implementation follows the block definitions, TensorFlow "SAME" padding and naming in timm, whose tf_efficientnetv2_b{0,1,2,3} ImageNet-1k weights (ported by Ross Wightman, no ImageNet-21k or extra data) are licensed Apache-2.0 and are what LibreYOLO ships.

Проверено с LibreYOLO v1.5.0. Таблицы поддержки, чекпойнты и результаты бенчмарков на этой странице сгенерированы из выпущенной библиотеки и опубликованных весов, а не написаны вручную.