PicoDet

インストール

PicoDetに基本パッケージ以外の追加パッケージは必要ありません。

pip install libreyolo

推論

重みは初回使用時にHugging Faceからダウンロードされ、ローカルにキャッシュされます。

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePICODETs.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibrePICODETs.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

返される Results オブジェクトはすべてのファミリーが返すものと同じなので、別の検出器への切り替えは1行の変更で済みます。conf は信頼度のしきい値、iou はNMSのしきい値を設定します。ソース、ストリーミング、結果の処理については推論を参照してください。

バリアント

3つのサイズがあり、それぞれ独自の固定入力解像度を持ちます。s がもっとも小さく、l がもっとも大きいサイズです。サイズに伴って解像度も上がるため、大きなチェックポイントはパラメータが多いだけでなく、画像ごとの実行コストも高くなります。

学習

from libreyolo import LibreYOLO model = LibreYOLO("LibrePICODETs.pt")model.train(    data="my-dataset.yaml",    epochs=300, batch=16, lr0=0.01,)

# imgszは明示する価値がある。CLIのデフォルトは640だが# sチェックポイントのネイティブ解像度は320libreyolo train model=LibrePICODETs.pt data=my-dataset.yaml imgsz=320 epochs=300 batch=16 lr0=0.01

損失成分とassignerはアップストリームの手順に従います。VFL、DFL、GIoU、SimOTAに、分類品質の重み付けとdynamic-IoU VFL targetを組み合わせます。同じチェックポイントでの推論は、アップストリームとbit単位で同等です。

train() 独自のdocstringによると、full-datasetでの収束、マルチGPUでの動作、水平反転以外のデータ拡張は未確認です。ネイティブ解像度320の s チェックポイントは、小規模ファインチューニングのテストにライブラリが使う30枚・2クラスのfixtureにおいて、LibreYOLOの精度下限を安定して超えていません。このサイズはfull COCO規模により適しています。

train() は pretrained 引数も受け付けますが、メソッド内でその値が読み取られることはありません。学習は常にモデル構築時の重みから続行されるため、pretrained=False でもネットワークは再初期化されません。Pythonで imgsz を未設定にすると、読み込んだチェックポイントのネイティブ解像度が使われます。s は320、m は416、l は640です。CLIは常に imgsz を渡し、デフォルトは640なので、チェックポイントに合わせて設定してください。

ほかの設定を変更しなければ、trainerはSGD、lr0=0.01、momentum 0.9、weight decay 4e-5、1エポックのウォームアップを使うcosine scheduleで300エポック実行します。適用されるデータ拡張は水平反転だけです。

データセット、データ拡張、マルチGPU、loggerについては学習を参照してください。

検証

val() は、学習に使った形式の任意のデータセットに対して測定した適合率、再現率、mAP 50、mAP 50-95を含む metrics/ キーの辞書を返します。

from libreyolo import LibreYOLO model = LibreYOLO("LibrePICODETs.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibrePICODETs.pt data=my-dataset.yaml

エクスポート

エクスポート済み成果物はファイル接尾辞に基づいて LibreYOLO() から再度読み込めます。そのため、.onnx または .engine ファイルはチェックポイントと同様に動作し、同じ Results を返します。LibreYOLOをインストールしていない単独のランタイムでグラフを実行することもできますが、その場合は前処理と後処理を自身で記述する必要があります。

from libreyolo import LibreYOLO model = LibreYOLO("LibrePICODETs.pt")model.export(format="onnx", imgsz=320)model.export(format="tensorrt", imgsz=320, half=True)

libreyolo export model=LibrePICODETs.pt format=onnx imgsz=320libreyolo export model=LibrePICODETs.pt format=tensorrt imgsz=320 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # ファクトリーはファイル接尾辞で経路を選ぶため、エクスポート済み成果物も# 通常のチェックポイントと同様に読み込まれ、同じResultsオブジェクトを返すmodel = LibreYOLO("LibrePICODETs.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

チェックポイント

このファミリーで公開されているすべての重みファイルです。

ライセンス

引用

@misc{yu2021pppicodet,
      title={PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices},
      author={Guanghua Yu and Qinyao Chang and Wenyu Lv and Chang Xu and Cheng Cui and Wei Ji and Qingqing Dang and Kaipeng Deng and Guanzhong Wang and Yuning Du and Baohua Lai and Qiwen Liu and Xiaoguang Hu and Dianhai Yu and Yanjun Ma},
      year={2021},
      eprint={2111.00902},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}