Бенчмарки LibreYOLO
COCO
Точность в зависимости от размера
Какую точность даёт каждая архитектура при своём числе параметров. График взят с visionanalysis.org, родственного проекта LibreYOLO, где модели измеряются на COCO, по задержке на реальном оборудовании и в бенчмарке RF100-VL.
RF100-VL
Сохранятся ли эти показатели на ваших данных?
Показатель на COCO редко совпадает с итоговым результатом. Он лишь помогает его оценить, поскольку большинство проектов начинают с предобученных на COCO весов и затем дообучают их, а единая мера позволяет сравнивать статьи. Это полезно, но не отражает главного свойства выбранной модели.
Главное свойство — обобщающая способность: сохраняют ли архитектура, предобученные веса и рецепт обучения качество на данных, совсем не похожих на COCO. Поэтому Roboflow создал RF100-VL. Модель получает свой результат после последовательного обучения на 100 реальных датасетах. В одних на каждом изображении тысячи объектов, а в других для обучения доступны лишь несколько десятков изображений. Таблетки на конвейере, рентгеновские снимки грудной клетки, плитки маджонга, клещи варроа, дым лесных пожаров.
При выборе модели учитывайте этот показатель вместе с задержкой, лицензией и сложностью работы с кодом обучения. Это не рейтинг, в котором достаточно выбрать первую строку.
Задержка
Достаточно ли быстро на вашем оборудовании?
Точность не зависит от оборудования. Скорость на GPU дата-центра и Raspberry Pi различается на два порядка, поэтому важно только значение, измеренное на плате, где будет работать продукт.