Benchmarks do LibreYOLO
COCO
Acurácia em relação ao tamanho
Quanta acurácia cada arquitetura oferece para sua quantidade de parâmetros. O gráfico vem do visionanalysis.org, um projeto irmão do LibreYOLO no qual os modelos são medidos no COCO, em latência em hardwares reais e no benchmark RF100-VL.
RF100-VL
Isso tudo resiste ao contato com os seus dados?
Um número do COCO raramente é a pontuação final que você obtém. Ele é um indício dessa pontuação, porque a maioria dos projetos começa com pesos pré-treinados no COCO e faz fine-tuning a partir deles, além de ser a referência comum que mantém os artigos comparáveis. Isso tem valor, mas não é o que você realmente está adquirindo.
O que você está adquirindo é generalização: se a arquitetura, os pesos pré-treinados e a receita de treinamento ainda funcionam bem em dados que não se parecem em nada com o COCO. Por isso, a Roboflow criou o RF100-VL. Um modelo conquista sua pontuação ao ser treinado em 100 datasets reais, um de cada vez. Alguns oferecem milhares de objetos por imagem, outros dão apenas algumas dezenas de imagens para aprender. Comprimidos em uma esteira, radiografias de tórax, peças de mahjong, ácaros varroa, fumaça de incêndios florestais.
Considere-o uma entre várias informações ao escolher um modelo, junto com a latência, a licença e sua disposição para brigar com o código de treinamento. Não é uma classificação para simplesmente escolher o primeiro colocado.
Latência
Rápido o bastante no hardware que você tem?
A acurácia não muda com o hardware. A velocidade varia em duas ordens de grandeza entre uma GPU de data center e um Raspberry Pi, então o único número relevante é o medido na placa em que você fará o deploy.