LibreYOLOベンチマーク
COCO
精度とサイズの比較
各アーキテクチャがパラメータ数に対してどれだけの精度を得られるかを示します。グラフはLibreYOLOの姉妹プロジェクトvisionanalysis.orgから取得しています。そこではモデルをCOCO、実機別のレイテンシ、RF100-VLベンチマークで測定しています。
RF100-VL
その性能は実際のデータでも通用するか
最終的に得られるスコアがCOCOの数値と同じになることはほとんどありません。多くのプロジェクトはCOCOで事前学習した重みから始めてファインチューニングし、COCOは論文間の比較を可能にする共通の尺度であるため、その数値は最終スコアの手掛かりになります。それには価値がありますが、実際に得たいものそのものではありません。
実際に得たいものは汎化性能です。つまり、アーキテクチャ、学習済みの重み、学習レシピがCOCOとはまったく異なるデータでも通用するかどうかです。そこでRoboflowはRF100-VLを構築しました。モデルは100個の実在するデータセットで1つずつ学習し、スコアを獲得します。画像1枚に数千個の物体を含むデータセットもあれば、数十枚の画像だけで学習させるものもあります。コンベヤー上の錠剤、胸部X線、麻雀牌、ミツバチヘギイタダニ、山火事の煙などです。
モデルを選ぶときは、レイテンシ、ライセンス、学習コードへの対応負担と並ぶ複数の判断材料の1つとして読んでください。上から順に選ぶランキングではありません。
Sports · 6
Document · 10
Aerial · 11
Medical · 13
Other · 15
Industrial · 22
Flora and Fauna · 23
RF100-VL
100個の実世界データセット、7ドメイン
レイテンシ
手元の機器で十分に速いか
精度はハードウェアによって変わりません。速度はデータセンターGPUとRaspberry Piの間で2桁も変わるため、重要なのは出荷するボードで測定した数値だけです。