ConvNeXt V2

ConvNeXt V2 is an image classifier with global response normalization.

Задачи: classification
Установка: pip install libreyolo
Уровень поддержки: Поддерживаемый, начиная с v1.6.0. Дополнительные обучаемые модели: тесты CI поддерживаются в рабочем состоянии, а функции добавляются по возможности.
Исходный проект: ConvNeXt V2 от Meta AI, MIT code; CC-BY-NC-4.0 weights. Статья, исходный код
Лицензии: Код: MIT, веса: MIT code; CC-BY-NC-4.0 weights. Коммерческое использование

Install

bash

pip install "libreyolo"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtV2atto-cls.pt", device="cpu")result = model(SAMPLE_IMAGE)print(result.probs)

The eight sizes run classification at 224 pixels. Official pretrained weights are CC-BY-NC-4.0.

Train

Training rebuilds the classification head for an ImageFolder dataset. cls_pw accepts values from 0 to 1 and defaults to 0. class_weights=True selects the alternative sample-normalized weighting; it cannot combine with cls_pw>0. Weighting settings must match when resuming.

Dataset setup describes the required training data.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtV2atto-cls.pt", device="cpu")# "smoke10" auto-downloads; for your own data, pass a folder with train/ and val/ class subfolders.model.train(data="smoke10", epochs=1, device="cpu", workers=0)

Validate

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtV2atto-cls.pt", device="cpu")metrics = model.val(data="smoke10", workers=0)print(metrics)

Use the dataset format for this task. Validation explains the dataset requirements and returned metrics.

Export

Задача	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
Classification	Classification to ONNX: поддерживается	Classification to TorchScript: поддерживается	Classification to ExecuTorch: поддерживается	Classification to TensorRT: поддерживается	Classification to OpenVINO: поддерживается	Classification to Paddle: не поддерживается	Classification to MNN: не поддерживается	Classification to RKNN: не поддерживается	Classification to ncnn: поддерживается	Classification to TFLite: не поддерживается	Classification to CoreML: не поддерживается	Classification to Core AI: не поддерживается

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtV2atto-cls.pt", device="cpu")model.export(format="onnx")

Export setup lists format dependencies and loading exported artifacts.

Checkpoints

Файл	Лицензия весов
Classification
LibreConvNeXtV2atto-cls.pt	cc-by-nc-4.0
LibreConvNeXtV2femto-cls.pt	cc-by-nc-4.0
LibreConvNeXtV2pico-cls.pt	cc-by-nc-4.0
LibreConvNeXtV2n-cls.pt	cc-by-nc-4.0
LibreConvNeXtV2t-cls.pt	cc-by-nc-4.0
LibreConvNeXtV2b-cls.pt	cc-by-nc-4.0
LibreConvNeXtV2l-cls.pt	cc-by-nc-4.0
LibreConvNeXtV2h-cls.pt	cc-by-nc-4.0

Все перечисленные выше файлы уже доступны в организации LibreYOLO и скачиваются при первом использовании.

Licensing

Проверяйте лицензию в репозитории конкретных весов на Hugging Face. Она указана для каждого чекпойнта в организации LibreYOLO и может различаться даже внутри одного семейства. Этот репозиторий считается авторитетным источником, а сводка ниже описывает условия на момент последней проверки страницы.

Это описание соответствующих лицензий, а не юридическая консультация. Если ответ важен для коммерческого использования, прочитайте лицензии самостоятельно и проконсультируйтесь с юристом.

Оригинальная работа: ConvNeXt V2, Meta AI
Лицензия исходного проекта: MIT code; CC-BY-NC-4.0 weights
Исходный код проекта: github.com/facebookresearch/ConvNeXt-V2
Код LibreYOLO: MIT
Веса: MIT code; CC-BY-NC-4.0 weights, повторно опубликованы на huggingface.co/LibreYOLO
Толкование: The source code is MIT. Official pretrained weights are CC-BY-NC-4.0 and exclude commercial use.

Citation

@article{Woo2023ConvNeXtV2,
  title={ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders},
  author={Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon and Saining Xie},
  year={2023},
  journal={arXiv preprint arXiv:2301.00808},
}

Скопировано из блока цитирования авторов на странице raw.githubusercontent.com/facebookresearch/ConvNeXt-V2/main/README.md.