ConvNeXt

Встановлення

ConvNeXt не потребує додаткових пакетів. Усі його імпорти входять до базового встановлення.

pip install libreyolo

Винятком є донавчання адаптерів із lora=True, для якого потрібен додатковий пакет lora.

pip install "libreyolo[lora]"

Передбачення

Під час першого використання ваги завантажуються з Hugging Face та кешуються локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtt-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreConvNeXtt-cls.pt source=cat.jpg save=True

Повертається той самий об'єкт Results, що й для кожного сімейства, тому для заміни моделі достатньо змінити один рядок. Класифікатор не має рамок чи масок: result.probs містить передбачення для всього зображення з top1, top5, top1conf і top5conf. Параметри conf, iou та max_det приймаються для сумісності API, але не впливають на результат, оскільки в одному векторі ймовірностей немає чого відсікати за порогом або пригнічувати. Джерела, потокове оброблення та роботу з результатами описано на сторінці передбачення.

Варіанти

Доступні три розміри, tiny/small/base, які навчаються й оцінюються однаково, тому вибір є прямим компромісом між кількістю параметрів і правильністю. Завдання зафіксовано: кожен розмір підтримує лише класифікацію. Назва файлу ваг для кожного розміру закінчується на -cls.pt, і саме за цим суфіксом фабрика виконує маршрутизацію до сімейства; аргумент task= не потрібен.

Навчання

Донавчання починається з опублікованого бекбона ImageNet, а останній шар класифікатора автоматично перебудовується відповідно до кількості класів цільового датасету.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 epochs=5

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5, lora=True)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Без додаткових параметрів тренер виконує 100 епох із lr0=1e-3, AdamW, батчем 64 і ранньою зупинкою після 50 епох без покращення. data приймає кореневий каталог датасету (train/ і val/, по одному каталогу для кожного класу), відому коротку назву на кшталт imagenette160 або URL-адресу .zip. Блоки ConvNeXt містять MLP nn.Linear, потрібні LoRA, тому тут підтримується lora=True, який вставляє адаптери в MLP блоків замість донавчання всього бекбона.

Датасети, аугментацію, кілька GPU та системи журналювання описано на сторінці навчання.

Валідація

Метод val() повертає словник ключів metrics/. Для класифікації це правильність top-1 і top-5 на валідаційній вибірці.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreConvNeXtt-cls.pt data=imagenette160

Експорт

Експортований артефакт повторно завантажується через LibreYOLO() за суфіксом файлу, тому файл .onnx або .engine поводиться як контрольна точка й повертає той самий Results. На сторінці Експорт наведено аргументи, які приймає кожен формат, і додаткові пакети, потрібні деяким із них.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreConvNeXtt-cls.pt format=onnxlibreyolo export model=LibreConvNeXtt-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика виконує маршрутизацію за суфіксом файлу, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibreConvNeXtt-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Контрольні точки

Усі опубліковані файли ваг для цього сімейства.

Ліцензування

Цитування

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}