Бенчмарки LibreYOLO
COCO
Правильність і розмір
Яку правильність забезпечує кожна архітектура за своєї кількості параметрів. Графік узято з visionanalysis.org, спорідненого проєкту LibreYOLO, де моделі вимірюють на COCO, за затримкою на реальному обладнанні та в бенчмарку RF100-VL.
RF100-VL
Чи збережуться ці переваги на ваших даних?
Показник COCO рідко збігається з вашим остаточним результатом. Він лише дає уявлення про цей результат, адже більшість проєктів починають із ваг, попередньо навчених на COCO, а потім донавчають їх. Водночас це спільний еталон, завдяки якому можна порівнювати статті. Він має цінність, але ви насправді обираєте не його.
Насправді ви обираєте узагальнюваність: чи витримають архітектура, попередньо навчені ваги й рецепт навчання дані, зовсім не схожі на COCO. Саме тому Roboflow створила RF100-VL. Модель отримує свій результат після навчання по черзі на 100 реальних датасетах. Деякі з них містять тисячі об'єктів на зображенні, а інші дають лише кілька десятків зображень для навчання. Пігулки на конвеєрі, рентгенограми грудної клітки, плитки маджонгу, кліщі вароа, дим від лісових пожеж.
Під час вибору моделі сприймайте цей показник як один із кількох чинників поряд із затримкою, ліцензією та складністю роботи з кодом навчання. Це не рейтинг, у якому достатньо вибрати верхній рядок.
Затримка
Чи достатньо швидко на вашому обладнанні?
Правильність не залежить від обладнання. Швидкість між GPU дата-центру та Raspberry Pi відрізняється на два порядки, тому має значення лише показник, виміряний на платі, з якою постачатиметься продукт.