Benchmark di LibreYOLO
COCO
Accuratezza rispetto alle dimensioni
Quanta accuratezza offre ogni architettura in rapporto al numero di parametri. Il grafico proviene da visionanalysis.org, un progetto collegato a LibreYOLO in cui i modelli vengono misurati su COCO, sulla latenza con hardware reale e sul benchmark RF100-VL.
RF100-VL
Qualcosa di tutto questo resiste al contatto con i tuoi dati?
Un dato COCO raramente è il punteggio finale che ottieni. È un'indicazione di quel punteggio, perché la maggior parte dei progetti parte da pesi preaddestrati su COCO e procede da lì con il fine-tuning, ed è il metro comune che rende confrontabili gli articoli. Ha un suo valore, ma non è ciò che stai davvero acquistando.
Ciò che stai acquistando è la generalizzazione: la capacità dell'architettura, dei pesi preaddestrati e della procedura di addestramento di funzionare ancora bene su dati completamente diversi da COCO. Per questo Roboflow ha creato RF100-VL. Un modello ottiene il proprio punteggio venendo addestrato su 100 dataset reali, uno alla volta. Alcuni contengono migliaia di oggetti per immagine, altri offrono solo poche decine di immagini da cui imparare. Pillole su un nastro trasportatore, radiografie del torace, tessere del mahjong, acari varroa, fumo degli incendi.
Consideralo uno dei vari elementi nella scelta di un modello, insieme a latenza, licenza e voglia di lottare con il codice di addestramento. Non è una classifica da leggere semplicemente dall'alto.
Latenza
È abbastanza veloce sull'hardware che possiedi?
L'accuratezza non cambia con l'hardware. La velocità varia di due ordini di grandezza tra una GPU da data center e un Raspberry Pi, quindi l'unico dato che conta è quello misurato sulla scheda che userai nel prodotto.