Matrice di data augmentation

I parametri

Questi sono i nomi dei campi di TrainConfig, non le grafie della CLI. La CLI mappa i propri alias su di essi, quindi --mosaic imposta mosaic_prob.

Gli ultimi quattro sono il pacchetto di classificazione. Le famiglie di rilevamento li ignorano. mixup è un parametro disponibile solo via API: il --mixup della CLI è l'alias del mixup_prob del rilevamento.

from libreyolo.data.augment.spec import (    AUG_KNOBS,    aug_support,    ignored_aug_params,    uses_mosaic_gating,) print(sorted(AUG_KNOBS)) table = aug_support("yolo9")print(table["mixup_prob"].status, table["mixup_prob"].note) print(sorted(ignored_aug_params("dfine")))print(uses_mosaic_gating("yolo9"), uses_mosaic_gating("yolonas"))

I tre stati

ignored è quello che conviene controllare prima di un addestramento, perché non fallisce nulla. La CLI avvisa quando un parametro di addestramento impostato esplicitamente è uno di quelli che la famiglia selezionata ignora, e il trainer avvisa quando mixup_prob > 0 non può attivarsi perché la famiglia condiziona MixUp al mosaico e mosaic_prob è zero.

Archetipi di pipeline

Ogni famiglia coperta segue una di sei pipeline, con una manciata di deviazioni per famiglia elencate più sotto.

Nella pipeline in stile YOLOX il preprocessing per campione applica il jitter HSV e i flip, mentre la trasformazione affine e MixUp girano solo dentro il ramo mosaico. YOLO-NAS invece esegue un'affine per campione sempre attiva, ignora il mosaico e applica MixUp in modo indipendente, riusando mosaic_scale come intervallo di scala dell'affine.

La pipeline in stile DETR è una trasformazione pass-through senza mosaico. La sua distorsione fotometrica, lo zoom-out e il ritaglio IoU sono costanti della ricetta e non parametri configurabili, ed è per questo che hsv_prob e i parametri di geometria non la raggiungono mai. La pipeline di classificazione usa una trasformazione ImageFolder il cui flip orizzontale è fisso a 0.5 invece di flip_prob. Il jitter di scala e l'HSV della semantica arrivano da attributi di classe della famiglia e non da parametri di configurazione, e i flip del restauro sono operazioni accoppiate su input e target con probabilità fissa 0.5.

no_aug_epochs è rispettato ovunque, anche se ciò che disattiva cambia: mosaico e MixUp per lo stile YOLOX, l'affine e MixUp per YOLO-NAS, le augmentation fotometriche forti e di ritaglio più la coda del learning rate per lo stile DETR, e la coda dello scheduler per il resto.

Famiglie per archetipo

Sono coperte venticinque famiglie. Una famiglia fuori da questo elenco restituisce un insieme di parametri ignorati vuoto, quindi per essa non viene emesso alcun avviso.

Deviazioni

ec e dinov2 sono famiglie multi-task, quindi un parametro è marcato come ignorato solo quando tutti i task addestrabili della famiglia lo ignorano. Così l'avviso della CLI non può mai essere sbagliato per un task e giusto per un altro.

Dome-DETR eredita le trasformazioni di D-FINE senza modifiche. L'unica cosa che non regge è l'addestramento multi-scala, disabilitato dalla sua config e non dalla spec di augmentation.

Parametri specifici per famiglia

Alcune famiglie portano i parametri di data augmentation sulla propria sottoclasse di TrainConfig invece che sulla base. La CLI non li espone; impostali tramite l'API Python.

rot90 si applica a detect e OBB su yolo9.

Interrogare la spec

Un Support è una named tuple di status e note, dove la nota spiega perché un parametro è ignorato o gated per quella famiglia.

Il gate del mosaico

In una famiglia in stile YOLOX, mixup_prob=0.5 con mosaic_prob=0 disattiva del tutto MixUp, perché MixUp si applica solo ai campioni a mosaico. È una combinazione facile da ottenere quando si spegne il mosaico verso la fine dell'addestramento. Il trainer registra un avviso che nomina la famiglia, e mixup_gating_warning è la funzione pura che ci sta dietro.