ConvNeXt

Instalacja

ConvNeXt nie wymaga opcjonalnego dodatku. Wszystkie importowane elementy znajdują się w instalacji bazowej.

pip install libreyolo

Wyjątkiem jest dostrajanie adapterów z lora=True, które wymaga dodatku lora.

pip install "libreyolo[lora]"

Predykcja

Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane lokalnie w pamięci podręcznej.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreConvNeXtt-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)

libreyolo predict model=LibreConvNeXtt-cls.pt source=cat.jpg save=True

Zwracany obiekt Results jest taki sam dla każdej rodziny, dlatego zamiana modelu wymaga zmiany jednego wiersza. Klasyfikator nie zawiera ramek ani masek. Pole result.probs przechowuje predykcję dla całego obrazu i udostępnia top1, top5, top1conf oraz top5conf. Argumenty conf, iou i max_det są akceptowane dla zgodności API, ale nie mają wpływu na wynik, ponieważ w pojedynczym wektorze prawdopodobieństwa nie ma wartości do progowania ani tłumienia. Zobacz stronę predykcji, aby poznać źródła, streaming i obsługę wyników.

Warianty

Dostępne są trzy rozmiary: tiny, small i base. Wszystkie są trenowane i oceniane w ten sam sposób, dlatego wybór sprowadza się do kompromisu między liczbą parametrów a accuracy. Zadanie jest stałe: każdy rozmiar obsługuje tylko klasyfikację. Nazwa pliku wag dla każdego rozmiaru kończy się na -cls.pt. Fabryka odczytuje ten sufiks, aby wybrać rodzinę, więc argument task= nie jest potrzebny.

Trenowanie

Dostrajanie rozpoczyna się od opublikowanego backbone ImageNet, a końcowa warstwa klasyfikatora jest automatycznie przebudowywana zgodnie z liczbą klas w docelowym zbiorze danych.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 epochs=5

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.train(data="imagenette160", epochs=5, lora=True)

libreyolo train model=LibreConvNeXtt-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Przy ustawieniach domyślnych moduł trenujący wykonuje 100 epok z lr0=1e-3, optymalizatorem AdamW, batchem 64 i early stopping po 50 epokach bez poprawy. Argument data przyjmuje katalog główny zbioru danych (train/ i val/, po jednym folderze na klasę), znaną krótką nazwę, na przykład imagenette160, albo adres URL pliku .zip. Bloki ConvNeXt zawierają warstwy MLP nn.Linear wymagane przez LoRA, dlatego lora=True jest tu obsługiwane i wstrzykuje adaptery do warstw MLP bloków zamiast dostrajać cały backbone.

Zobacz stronę trenowania, aby poznać zbiory danych, augmentację, obsługę wielu GPU i loggery.

Walidacja

Metoda val() zwraca słownik kluczy metrics/. Dla klasyfikacji są to accuracy top-1 i top-5 w podziale walidacyjnym.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreConvNeXtt-cls.pt data=imagenette160

Eksport

Wyeksportowany artefakt jest ponownie wczytywany przez LibreYOLO() na podstawie sufiksu pliku, dlatego plik .onnx lub .engine zachowuje się jak checkpoint i zwraca ten sam obiekt Results. Strona Eksport zawiera argumenty obsługiwane przez każdy format oraz dodatki wymagane przez niektóre z nich.

from libreyolo import LibreYOLO model = LibreYOLO("LibreConvNeXtt-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreConvNeXtt-cls.pt format=onnxlibreyolo export model=LibreConvNeXtt-cls.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie sufiksu pliku, więc wyeksportowany# artefakt wczytuje się jak każdy checkpoint i zwraca ten sam obiekt Results.model = LibreYOLO("LibreConvNeXtt-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencjonowanie

Cytowanie

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}