LibreYOLO-Benchmarks
COCO
Accuracy im Verhältnis zur Größe
Wie viel Accuracy jede Architektur für ihre Parameteranzahl liefert. Das Diagramm stammt von visionanalysis.org, einem Schwesterprojekt von LibreYOLO. Dort werden Modelle auf COCO, anhand ihrer Latenz auf echter Hardware und mit dem RF100-VL-Benchmark gemessen.
RF100-VL
Hält das auch deinen Daten stand?
Ein COCO-Wert ist selten der Wert, den du am Ende erreichst. Er ist ein Hinweis darauf, weil die meisten Projekte mit auf COCO vortrainierten Gewichten beginnen und darauf Fine-Tuning durchführen. Außerdem ist er der gemeinsame Maßstab, der Publikationen vergleichbar macht. Das hat einen Wert, ist aber nicht das, worauf es dir letztlich ankommt.
Worauf es dir ankommt, ist die Generalisierung: Behaupten sich Architektur, vortrainierte Gewichte und Trainingsrezept auch bei Daten, die COCO überhaupt nicht ähneln? Dafür hat Roboflow RF100-VL entwickelt. Ein Modell verdient seinen Wert, indem es nacheinander auf 100 echten Datensätzen trainiert wird. Einige enthalten Tausende Objekte pro Bild, andere nur wenige Dutzend Bilder zum Lernen. Tabletten auf einem Förderband, Röntgenbilder des Brustkorbs, Mahjong-Steine, Varroamilben, Waldbrandrauch.
Nutze den Wert als einen von mehreren Anhaltspunkten bei der Modellwahl, neben Latenz, Lizenz und deiner Bereitschaft, dich mit dem Trainingscode auseinanderzusetzen. Er ist keine Rangliste, bei der du einfach den obersten Eintrag auswählst.
Latenz
Schnell genug auf deiner Hardware?
Die Accuracy ändert sich nicht mit der Hardware. Die Geschwindigkeit unterscheidet sich zwischen einer Rechenzentrums-GPU und einem Raspberry Pi um zwei Größenordnungen. Deshalb zählt nur der Wert, der auf dem Board gemessen wurde, das du tatsächlich auslieferst.