YOLOv9

インストール

YOLOv9には基本パッケージ以外の追加パッケージは不要です。

pip install libreyolo

推論

重みは初回使用時にHugging Faceからダウンロードされ、ローカルにキャッシュされます。

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreYOLO9s.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLO9s.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # 同じ呼び出しで異なるチェックポイントを使用 エンドツーエンドヘッドが# 高スコアの予測を返すため NMS は実行されず iou は無視されるmodel = LibreYOLO("LibreYOLO9E2Es.pt")result = model(SAMPLE_IMAGE, conf=0.25, max_det=300) print(len(result.boxes))

返されるResultsオブジェクトはすべてのファミリーに共通するため、別の検出器への切り替えは1行の変更で済みます。基本モデルとstride 4モデルでは、confが信頼度のしきい値、iouがNMSのしきい値を設定します。エンドツーエンドモデルはNMSを実行せずiouを無視するため、confとmax_detで出力が決まります。ソース、ストリーミング、結果の処理については推論を参照してください。

バリアント

3つのバリアントがバックボーンを共有します。3つすべてが検出専用で、同じ引数を受け取ります。

基本モデルは3つの特徴スケールで予測し、NMSで重複するボックスを除去します。

エンドツーエンドモデルはそのヘッドを維持し、隣に1対1マッチングの分岐を追加します。推論では1対1の分岐だけを読み取り、高スコアの予測を取得するため、NMSは実行されません。デプロイ先のランタイムにNMS演算子がない場合に選択してください。

stride 4モデルはバックボーンのさらに上位の1レベルを表に出し、そこまでネックを拡張し、3つではなく4つのスケールで予測します。追加のスケールは少数のピクセルしか占めない物体向けです。公開されている唯一のチェックポイントは航空画像で学習されています。基本検出チェックポイントを転移できます。バックボーンとネックは変更せずに読み込まれ、3つの学習済みヘッドタワーは1スロット上にずれ、stride 4タワーはランダム初期化から開始します。

学習

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLO9s.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLO9P2 # stride 4 バリアントには固有の COCO チェックポイントがないため# 基本検出モデルを指定 バックボーンとネックはそのまま読み込み# stride 4 ヘッドタワーはランダム初期化で開始model = LibreYOLO9P2(None, size="s")model.train(data="my-dataset.yaml", epochs=100, pretrained="LibreYOLO9s.pt")

pretrainedによって実行の開始点が決まります。同じモデルとサイズの公開済みチェックポイントを読み込むにはTrueを渡し、それ以外の場合は名前またはパスを渡してください。形状が一致しないテンソルは拒否されずにスキップされ、読み込んだ数が実行ログに記録されます。そのため、異なるクラス数で学習したチェックポイントも開始点として使えます。

stride 4モデルには固有の公開済みCOCOチェックポイントがないため、そこでTrueを指定すると存在しないファイルに解決され、ダウンロードに失敗します。代わりに基本検出チェックポイントを指定してください。

データセット、データ拡張、マルチGPU、ロガーについては学習を参照してください。

基本モデルは、主ヘッドの隣でPGI補助分岐を学習できます。この分岐は学習専用で、推論とエクスポートでは主ヘッドを使います。開始時の重みがPGIテンソルを持つ場合、またはゼロから学習する場合に、実行はこの分岐を付けます。公開されている基本チェックポイントはPGIテンソルを持たないため、それらからのファインチューニングは主ヘッドだけを学習し、その旨をログに記録します。それでもaux_weight=0.25を指定するとその損失の重みで新しい分岐を付け、aux_weight=0は分岐を無効のままにします。再開した実行は、チェックポイントのPGI構成を維持します。mとcのサイズでは、分岐はアップストリームと同じ構成です：入力画像に対する2つ目のバックボーン（その各ステージをCBFuseが主バックボーンのCBLinearタップと合算）と独自のヘッドからなり、80クラスで学習専用のパラメータは12.8Mと25.7Mです。エンドツーエンドモデルとstride 4モデルにはPGI分岐がありません。

3つのバリアントはすべて、各オプティマイザーステップの前に勾配のL2ノルムを10でクリップします。clip_max_norm=0でクリッピングを無効にできます。ラベル割り当ては、float16のautocast下でもアンカーをfp32でスコアリングします。max_labels=300は学習画像あたりに保持するボックス数の上限で、それを超えたボックスは一度だけの警告とともに破棄されます。割り当てのメモリは上限ではなく、各画像の実際のボックスに従います。SGDのモーメンタムは3エポックで0.8から0.937にウォームアップします。letterbox_pad=Noneはチェックポイントに記録された設定を継承します。記録のない重みはtopleftを使い、新しい公式変換にはcenterが記録されます。

YOLO9とYOLOXのMosaicは、最大20回の抽出でアノテーション付きの画像を優先します。YOLO9のMixUpも同じ方針を使います。MixUpはデフォルトで無効です（mixup_prob=0）。有効にすると、MultimediaTechLab/YOLOと同様に、混合比率を[0, 1]上の一様分布であるBeta(1, 1)から抽出します。RGB以外の入力プロファイルについてはイベントヒストグラムを参照してください。

検証

val()は、学習に使用した形式の任意のデータセットで測定した適合率、再現率、mAP 50、mAP 50-95を含むmetrics/キーの辞書を返します。

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLO9s.pt data=my-dataset.yaml

# 同梱の COCO yaml はダウンロードスクリプトを内包するため# データセットがローカルにない場合は明示的な許可が必要libreyolo val model=LibreYOLO9c.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

エクスポート

チェックマークは3つすべてのバリアントに適用されます。差がある場合、マトリクスには3つのうち最も弱いものが示されます。

エクスポートした成果物は、ファイルサフィックスに基づいてLibreYOLO()から再度読み込めます。そのため、.onnxまたは.engineファイルはチェックポイントと同様に動作し、同じResultsを返します。LibreYOLOをインストールせず、単独のランタイムでグラフを実行することもサポートされますが、その場合は前処理と後処理を自分で実装する必要があります。

基本検出モデルでは、その後処理部分をグラフ内に移動できます。ONNXエクスポートでnms=Trueを指定すると抑制がモデル内部に組み込まれ、最初の出力は固定された(1, max_det, 6)テンソルになります。各行はx1, y1, x2, y2, score, classで、検出数を超える部分はゼロでパディングされます。このグラフはバッチ1で、動的軸を持ちません。エンドツーエンドモデルとstride 4モデルはこのフラグを受け付けません。

各形式では異なる追加パッケージをインストールし、それぞれ固有の引数をいくつか受け取ります。どちらも該当する形式のページに記載されています。

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLO9s.pt format=onnx imgsz=640

libreyolo export model=LibreYOLO9s.pt format=onnx nms=True \  conf=0.25 iou=0.45 max_det=300

from libreyolo import LibreYOLO, SAMPLE_IMAGE # ファクトリーはファイルサフィックスで振り分けるためエクスポート成果物も# 任意のチェックポイントと同様に読み込まれ同じ Results オブジェクトを返すmodel = LibreYOLO("LibreYOLO9s.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

TFLite INT8では、キャリブレーションデータとint8=Trueを使います。

ONNX の入力と出力

チェックポイント

このファミリーで公開されているすべての重みファイルです。

ライセンス

引用

@inproceedings{wang2024yolov9,
      title={{YOLOv9}: Learning What You Want to Learn Using Programmable Gradient Information},
      author={Wang, Chien-Yao and Yeh, I-Hau and Liao, Hong-Yuan Mark},
      year={2024},
      booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
}