Classificazione di immagini

Definizione

La classificazione di immagini produce un punteggio per classe sull'immagine intera e nessuna coordinata. Risponde a che cosa c'è nella foto, mai a dove, ed è questo che la separa dal rilevamento di oggetti.

classify è la chiave canonica del task, e il suffisso -cls nel nome del file di un checkpoint la seleziona. Nelle famiglie di classificazione quel suffisso è obbligatorio anziché opzionale, quindi LibreResNet50.pt non viene letto come un classificatore e solo LibreResNet50-cls.pt viene letto come tale.

predict() riempie result.probs e lascia boxes vuoto. .data è il vettore completo dei punteggi, .top1 l'indice del punteggio più alto e .top1conf il suo valore, .top5 i cinque indici più alti in ordine decrescente e .top5conf i loro punteggi. Gli indici si riferiscono a result.names. Fare lo slicing di un oggetto Results non tronca mai probs, perché il vettore appartiene all'immagine e non a una singola riga.

Modelli

Cinque famiglie addestrano e predicono: ResNet, ConvNeXt, MobileNetV4, EfficientNetV2 e DINOv2. Le prime quattro girano con il pacchetto base e hanno pesi pubblicati. DINOv2 richiede pip install "libreyolo[rfdetr]" e non ha un checkpoint ospitato da LibreYOLO: carica il backbone originale con una testa lineare inizializzata in modo casuale, quindi è un punto di partenza per il fine-tuning più che un predittore pronto all'uso.

Altre cinque predicono, validano ed esportano, ma il loro train() solleva NotImplementedError: ViT, Swin, VGG, AlexNet e DeiT.

CLIP e SigLIP2 classificano senza un insieme fisso di etichette. Confrontano l'immagine con dei prompt testuali, quindi set_classes() definisce le classi al momento della chiamata e per un nuovo insieme di etichette non c'è alcun passaggio di addestramento. Entrambe coprono anche il task embed.

Predizione

I pesi si scaricano da Hugging Face al primo uso e restano in cache in locale.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Il suffisso -cls nel nome del file seleziona il task, quindi non# serve alcun argomento task.model = LibreYOLO("LibreResNet50-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.names[result.probs.top1], float(result.probs.top1conf))print(result.probs.top5)

libreyolo predict model=LibreResNet50-cls.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE result = LibreYOLO("LibreResNet50-cls.pt")(SAMPLE_IMAGE)probs = result.probs # .data è il vettore completo (C,); top5/top5conf sono viste ordinate.print(probs.data.shape)for index, score in zip(probs.top5, probs.top5conf):    print(result.names[index], float(score))

from libreyolo import LibreYOLO, SAMPLE_IMAGE # CLIP confronta l'immagine con dei prompt testuali, quindi l'insieme# di etichette si definisce alla chiamata invece di essere fissato nel checkpoint.model = LibreYOLO("LibreCLIPb32-cls.pt")model.set_classes(["a person jumping", "an empty street", "a parked car"])result = model(SAMPLE_IMAGE) print(model.names[result.probs.top1], float(result.probs.top1conf))

conf, iou e max_det qui non hanno effetto: non ci sono candidati da filtrare con una soglia o da sopprimere, solo una distribuzione. Vedi predizione per sorgenti, streaming e gestione dei risultati.

Formato del dataset

La classificazione usa un albero di directory, non file di etichette e non uno YAML. data è la radice del dataset.

dataset/
  train/
    tench/000001.jpg
    parachute/000002.jpg
  val/
    tench/000101.jpg
    parachute/000102.jpg

train/ è obbligatorio per l'addestramento e definisce la corrispondenza tra classe e indice ordinando i nomi delle cartelle, quindi la prima cartella in ordine alfabetico diventa la classe 0. val/ è obbligatorio per la validazione. Può essere presente uno split test/, e i comandi predefiniti di addestramento e validazione non lo usano. Ogni split diverso da train deve contenere gli stessi nomi di cartelle di classe dell'insieme di classi atteso, ed è questo che fa sì che una discrepanza dia subito errore invece di essere conteggiata come una predizione sbagliata. Le estensioni di immagine accettate sono .jpg, .jpeg, .png, .bmp, .webp, .tif e .tiff.

data accetta tre cose: un percorso a una directory che contiene uno split train/, un URL .zip, oppure uno dei nomi di dataset noti, imagenette160 e smoke10, che si scaricano e restano in cache al primo uso.

Il loader canonico è libreyolo.data.classify_dataset.

Addestramento

from libreyolo import LibreYOLO # imagenette160 è un nome di dataset noto e si scarica al primo uso.# Per i tuoi dati passa una directory con uno split train/.model = LibreYOLO("LibreResNet50-cls.pt")model.train(data="imagenette160", epochs=5)

libreyolo train model=LibreResNet50-cls.pt data=imagenette160 epochs=5

libreyolo train model=LibreResNet50-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Non c'è nessun nc da dichiarare: il numero di classi viene dai nomi delle cartelle sotto train/, e il layer lineare finale viene ricostruito per adattarsi a quel numero, mentre il backbone viene trasferito invariato. Vedi addestramento per dataset, augmentation, multi-GPU e logger.

Validazione

val() restituisce un semplice dizionario di chiavi metrics/, calcolate sullo split val/ della radice del dataset.

from libreyolo import LibreYOLO model = LibreYOLO("LibreResNet50-cls.pt") # val() restituisce un semplice dict, non un oggetto.metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreResNet50-cls.pt data=imagenette160

metrics/accuracy_top1 è la quota di immagini la cui classe con il punteggio più alto è quella vera, ed è il numero di riferimento, quello che l'addestramento usa per scegliere l'epoca migliore. metrics/accuracy_top5 è la quota di immagini la cui classe vera compare in una qualsiasi delle cinque classi con il punteggio più alto, e diventa tanto meno informativa quante meno classi ha il dataset. Il dizionario contiene anche fitness, una copia del valore top-1.

Esportazione

from libreyolo import LibreYOLO model = LibreYOLO("LibreResNet50-cls.pt")model.export(format="onnx")

libreyolo export model=LibreResNet50-cls.pt format=onnx

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory instrada in base al suffisso del file, quindi un artefatto# esportato si carica come un checkpoint e restituisce lo stesso oggetto Results.model = LibreYOLO("LibreResNet50-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1, result.probs.top1conf)

Un artefatto esportato si ricarica tramite LibreYOLO() in base al suffisso del file, quindi un file .onnx o .engine si comporta come un checkpoint e restituisce lo stesso Results. La copertura dei formati cambia da famiglia a famiglia; la matrice su ogni pagina di modello è generata dall'insieme validato invece di essere scritta a mano. Vedi esportazione e deployment per i formati, i loro extra e i loro vincoli.