Benchmarki LibreYOLO
COCO
Dokładność a rozmiar
Dokładność oferowana przez każdą architekturę względem liczby parametrów. Wykres pochodzi z visionanalysis.org, siostrzanego projektu LibreYOLO, w którym modele mierzy się na COCO, pod względem opóźnienia na rzeczywistym sprzęcie oraz w benchmarku RF100-VL.
RF100-VL
Czy te wyniki sprawdzają się na twoich danych?
Wynik na COCO rzadko jest wynikiem końcowym. Stanowi jedynie jego wskazówkę, ponieważ większość projektów zaczyna od wag wstępnie wytrenowanych na COCO, a następnie je dostraja. Jest też wspólną miarą pozwalającą porównywać publikacje. Ma to wartość, ale nie jest tym, czego faktycznie potrzebujesz.
Liczy się generalizacja: czy architektura, wstępnie wytrenowane wagi i procedura trenowania nadal sprawdzają się na danych zupełnie niepodobnych do COCO. Dlatego Roboflow stworzył RF100-VL. Model zdobywa wynik przez trenowanie kolejno na 100 rzeczywistych zbiorach danych. Niektóre zawierają tysiące obiektów na obraz, inne zaledwie kilkadziesiąt obrazów do nauki. Tabletki na przenośniku, zdjęcia rentgenowskie klatki piersiowej, kamienie do mahjonga, roztocza Varroa i dym z pożarów lasów.
Przy wyborze modelu traktuj ten wynik jako jeden z kilku czynników, obok opóźnienia, licencji i trudności pracy z kodem trenowania. Nie jest to ranking, w którym wystarczy wybrać pierwszą pozycję.
Opóźnienie
Czy na twoim sprzęcie działa wystarczająco szybko?
Dokładność nie zmienia się wraz ze sprzętem. Szybkość między GPU w centrum danych a Raspberry Pi różni się o dwa rzędy wielkości, dlatego znaczenie ma tylko wynik zmierzony na płytce używanej we wdrożeniu.