ConvNeXt

Установка

Для ConvNeXt не нужны дополнительные extra-зависимости. Всё, что он импортирует, входит в базовую установку.

pip install libreyolo

Исключение — дообучение адаптерами с lora=True: ему нужен extra lora.

pip install "libreyolo[lora]"

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtt-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreConvNeXtt-cls.pt source=cat.jpg save=True

Возвращаемый объект Results — тот же, что возвращает любое семейство, поэтому переход на другую модель сводится к правке в одну строку. У классификатора нет ни рамок, ни масок: result.probs содержит предсказание для всего изображения, с полями top1, top5, top1conf и top5conf. Аргументы conf, iou и max_det принимаются ради единообразия API, но ни на что не влияют: в одном векторе вероятностей нечего отсекать по порогу и нечего подавлять. Про источники, стриминг и обработку результатов — предсказание.

Варианты

Три размера, tiny/small/base, все обучены и оценены одинаково, поэтому выбор сводится к прямому размену числа параметров на точность. Задача зафиксирована: каждый размер закрывает только классификацию. Имя файла весов у всех размеров заканчивается на -cls.pt, и именно по этому суффиксу фабрика определяет семейство; аргумент task= не нужен.

Обучение

Дообучение стартует с опубликованного бэкбона ImageNet и автоматически перестраивает последний слой классификатора под число классов целевого датасета.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 epochs=5

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5, lora=True)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Если ничего не менять, обучение идёт 100 эпох с lr0=1e-3 и AdamW, размером батча 64 и ранней остановкой после 50 эпох без улучшений. data принимает корень датасета (train/ и val/, по одной папке на класс), известное короткое имя вроде imagenette160 или URL на .zip. В блоках ConvNeXt есть MLP на nn.Linear, которые нужны LoRA, поэтому lora=True здесь поддерживается: адаптеры внедряются в MLP блоков, а не дообучается весь бэкбон.

Про датасеты, аугментацию, обучение на нескольких GPU и логгеры — обучение.

Валидация

val() возвращает словарь с ключами metrics/. Для классификации это top-1 и top-5 accuracy на валидационной выборке.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreConvNeXtt-cls.pt data=imagenette160

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по суффиксу файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает те же Results. В разделе экспорт перечислены аргументы, которые принимает каждый формат, и дополнительные, которые добавляют некоторые из них.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreConvNeXtt-cls.pt format=onnxlibreyolo export model=LibreConvNeXtt-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по суффиксу файла, поэтому экспортированный# артефакт загружается как обычный чекпойнт и возвращает тот же Results.model = LibreYOLO("LibreConvNeXtt-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}