Benchmarks LibreYOLO
COCO
Exactitude en fonction de la taille
Le gain d'exactitude apporté par chaque architecture pour son nombre de paramètres. Le graphique vient de visionanalysis.org, un projet frère de LibreYOLO où les modèles sont mesurés sur COCO, sur la latence avec du matériel réel et sur le benchmark RF100-VL.
RF100-VL
Ces résultats résistent-ils au contact de vos données ?
Un score COCO est rarement celui que vous obtenez au final. Il donne une indication de ce score, car la plupart des projets partent de poids pré-entraînés sur COCO avant de les affiner, et il constitue l'étalon commun qui permet de comparer les articles. Cela a une valeur, mais ce n'est pas ce que vous achetez réellement.
Ce que vous achetez, c'est la généralisation : l'architecture, les poids pré-entraînés et la recette d'entraînement restent-ils efficaces sur des données qui ne ressemblent en rien à COCO ? C'est pourquoi Roboflow a créé RF100-VL. Un modèle obtient son score après avoir été entraîné sur 100 datasets réels, un par un. Certains lui présentent des milliers d'objets par image, d'autres ne lui donnent que quelques dizaines d'images pour apprendre. Pilules sur un convoyeur, radiographies thoraciques, tuiles de mah-jong, acariens varroa, fumée d'incendie.
Considérez-le comme un critère parmi d'autres lorsque vous choisissez un modèle, avec la latence, la licence et votre envie de lutter avec le code d'entraînement. Ce n'est pas un classement dont il suffit de prendre le premier.
Latence
Assez rapide sur votre matériel ?
L'exactitude ne change pas avec le matériel. La vitesse varie de deux ordres de grandeur entre un GPU de datacenter et un Raspberry Pi. Le seul chiffre qui compte est donc celui mesuré sur la carte que vous déployez.