Benchmark LibreYOLO
COCO
Akurasi dibanding ukuran
Akurasi yang diberikan setiap arsitektur untuk jumlah parameternya. Bagan ini berasal dari visionanalysis.org, proyek saudara LibreYOLO tempat model diukur pada COCO, latensi di berbagai hardware nyata, dan benchmark RF100-VL.
RF100-VL
Apakah semua itu tetap berlaku pada data Anda?
Angka COCO jarang menjadi skor akhir yang diperoleh. Angka itu memberi petunjuk tentang skor tersebut karena sebagian besar proyek dimulai dengan bobot pretrained pada COCO lalu melakukan fine-tuning, dan COCO menjadi tolok ukur umum agar makalah dapat dibandingkan. Hal itu berguna, tetapi bukan hal utama yang sebenarnya dicari.
Hal utama yang dicari adalah generalisasi: apakah arsitektur, bobot pretrained, dan resep pelatihan tetap bekerja pada data yang sama sekali tidak menyerupai COCO. Karena itu, Roboflow membuat RF100-VL. Model memperoleh skornya dengan dilatih pada 100 dataset nyata, satu per satu. Beberapa dataset berisi ribuan objek per gambar, sedangkan yang lain hanya menyediakan beberapa puluh gambar untuk dipelajari. Pil di ban berjalan, rontgen dada, ubin mahyong, tungau varroa, dan asap kebakaran hutan.
Gunakan hasil ini sebagai salah satu dari beberapa pertimbangan saat memilih model, bersama latensi, lisensi, dan seberapa besar upaya yang siap dikeluarkan untuk menangani kode pelatihan. Ini bukan peringkat yang cukup dibaca dari posisi teratas.
Latensi
Cukup cepat di hardware yang Anda miliki?
Akurasi tidak berubah menurut hardware. Kecepatan dapat berbeda hingga dua orde magnitudo antara GPU pusat data dan Raspberry Pi, jadi angka yang penting adalah angka yang diukur pada board yang digunakan untuk produk.