Axelera Metis
format="axelera"はLibreYOLOのモデルをAxelera社のMetis AIPU向けのINT8の.axmにコンパイルし、エクスポートしたディレクトリはLibreYOLO()で読み戻して、PyTorchモデルと同じpredict、val、trackの呼び出しで使えます。1.8.0の新機能で、プレビュー扱いです。
- フォーマット
export(format="axelera")- 数値精度
- INT8のみです。half=True、quantize=16、quantize=32は例外を送出します。
- コンパイル環境
- Linux x86_64(Ubuntu 22.04または24.04、あるいはWSL2)、Python 3.10〜3.13。コンパイルにMetisデバイスは不要です。
- SDK
- Axelera社独自のパッケージインデックスから入手するaxelera-devkitとaxelera-rt 1.9.0。LibreYOLOの追加インストールではありません
- 出力
weights/<stem>_axelera_model/- ステータス
- プレビューです。23のファミリーを、SDK 1.9.0を使い1台のMetis M.2 Maxでコンパイル・計測しました。
インストール
Axelera SDKはAxelera社のEULAに基づくプロプライエタリなソフトウェアで、Axelera社独自のパッケージインデックスから配布されています。PyPIにはなく、LibreYOLOの追加インストールでもなく、LibreYOLOがこれを同梱することもありません。axelera-devkitはコンパイルを行い、axelera-rtはコンパイル済みモデルを実行します。デプロイ先のマシンに必要なのはaxelera-rtだけです。
python -m venv ~/venvs/axelera && source ~/venvs/axelera/bin/activatepip install "libreyolo[onnx]" # コンパイルにはonnxの追加インストールが必要 # SDKは最後にインストール。そのwheelはLibreYOLOも使うパッケージのバージョンを固定する# コンパイル(エクスポート)用pip install --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple axelera-devkit==1.9.0# 実行(.axmの推論)用pip install --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple axelera-rt==1.9.0# これがない場合、SDKが見つからないと上記のpipコマンドを示して失敗export LIBREYOLO_AUTOINSTALL=1専用の仮想環境を使ってください。SDK 1.9.0のwheelはLibreYOLOも使ういくつかのパッケージのバージョンを固定しており、pipはインストール時にそれらをダウングレードします:
| パッケージ | 固定されるバージョン |
|---|---|
torch | >=2.7,<2.15 |
typer | >=0.12,<0.13 |
click | ==8.1.8 |
rich | <14 |
onnx | <1.19 |
opencv-python | <5 |
pillow | <13 |
LibreYOLOはこれらすべてのバージョンで動作します。SDKのあとに他のLibreYOLOの追加インストールを入れると再びアップグレードされることがあるため、SDKは最後にインストールしてください。パッケージが不足している場合、エクスポートや読み込みは正確なpip installコマンドを示して失敗します。LIBREYOLO_AUTOINSTALL=1を設定すると、LibreYOLOがそのコマンドを代わりに実行し、そのことをログに記録します。
実行には、Metisデバイス、Axelera社のmetis-dkmsカーネルドライバー(SDK 1.9では1.7.0以降)、axelera-rtが必要です。axdeviceは各デバイスをファームウェアとともに一覧表示し、libreyolo checksはAxelera関連のパッケージと認識しているMetisデバイスを一覧表示します。
エクスポート
from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9t.pt")path = model.export(format="axelera") # weights/LibreYOLO9t_axelera_model # 自分のドメインでキャリブレーションし、パリティレポートを出力path = model.export( format="axelera", data="my_dataset.yaml", fraction=0.5, verify=True,)libreyolo export model=LibreYOLO9t.pt format=axeleralibreyolo export model=LibreYOLO9t.pt format=axelera verify=true| 引数 | Axeleraでの動作 |
|---|---|
imgsz | コンパイル済みモデルに固定されます。32の倍数です。デフォルトはチェックポイントのサイズ |
data | キャリブレーション用のデータセットYAML。検出と姿勢推定ではデフォルトはcoco128.yaml |
fraction | キャリブレーション用分割のうち使用する割合。100〜400枚の画像を推奨し、100枚未満では警告がログに出ます |
batch | キャリブレーション用ローダーのバッチサイズのみ。コンパイル済みモデルは一度に1枚の画像を受け取ります |
device | モデルのトレースに使うtorchのデバイスで、Metisデバイスではありません |
quantize、int8 | INT8は常に有効です。quantize=16、quantize=32、half=Trueは例外を送出します |
dynamic | 常に静的です。dynamic=Trueは例外を送出します |
opset | 中間ONNXグラフのopset。14〜17(デフォルトは17) |
nms | 非対応:NMSはホストで実行されます |
output_path | デフォルトはweights/<checkpoint stem>_axelera_model |
verify | 量子化モデルをFP32と比較し、デバイスがあればデバイスとも比較した<stem>.parity.jsonを出力します |
compiler_config | Pythonのみ:AxeleraのCompilerConfigフィールドのdict。未知のフィールドとLibreYOLOが管理するフィールドは例外を送出します |
キャリブレーションにはモデル自身の前処理が使われます。ファインチューニングしたモデルでは、そのモデル自身のドメインの画像でキャリブレーションしてください。コンパイルには数分から数十分かかり、数GBのRAMを使います。
weights/LibreYOLO9t_axelera_model/ LibreYOLO9t.axm compiled model compiler_config_final.toml compiler settings used for the build metadata.yaml LibreYOLO metadata LibreYOLO9t.parity.json only with verify=Trueディレクトリ名はチェックポイントのファイル名から付けられます。YOLO-NASの学習済み重みは初回使用時に変換されるため、そのエクスポートはweights/LibreYOLONASs-converted_axelera_modelに出力されます。同じパスに再エクスポートした場合、ディレクトリが置き換えられるのは新しいビルドが成功したあとだけで、ONNXファイルやコンパイラーのビルドファイルは残りません。
成果物を実行する
from libreyolo import LibreYOLO, SAMPLE_IMAGE npu = LibreYOLO("weights/LibreYOLO9t_axelera_model") # またはその中の.axmresults = npu(SAMPLE_IMAGE, conf=0.25)metrics = npu.val(data="coco128.yaml")for r in npu.track("video.mp4"): print(r.track_id)libreyolo predict model=weights/LibreYOLO9t_axelera_model source=image.jpglibreyolo val model=weights/LibreYOLO9t_axelera_model data=coco128.yamllibreyolo track model=weights/LibreYOLO9t_axelera_model source=video.mp4ネットワークはMetis AIPUで実行され、前処理、ボックスのデコード、NMSはホストで実行されるため、ボックスの座標とスコアが8ビットのテンソルを通ることはありません。結果はPyTorchモデルと同じResultsオブジェクトです。入力サイズはエクスポート時に固定されます。device="auto"、"axelera"、"metis"、"aipu"、"cpu"はいずれもAIPUで実行され、CUDAデバイスは警告とともに無視されます。ディレクトリは、Metisデバイスとaxelera-rtがある任意のLinuxマシンにコピーして使えます。
対応ファミリー
以下のすべてのサイズはコンパイル、Metisデバイスでの実行、エクスポートができます。「1.0以内」は、対応付けたセットでINT8の結果がFP32から1.0ポイント以内であることを意味します。計測した低下幅がそれより大きいサイズもエクスポートでき、エクスポート時にその低下幅が一度だけ警告としてログに出ます。精度がエクスポートを妨げることはありません。各ファミリーとタスクはエクスポート対応表にそれぞれvalidatedまたはavailableのセルを持ち(libreyolo formats --family yolonasで表示されます)、記載のないものはコンパイル前に例外を送出します。
| ファミリー | タスク | サイズ | 計測した低下幅 |
|---|---|---|---|
| YOLO-NAS | detect | s, m, l | 1.0以内 |
| YOLO-NAS | pose | n, s, m, l | nとsはより大きい |
| YOLO-NAS-R | obb | s, m, l | 1.0以内。キャリブレーションデータが必要 |
| YOLO9 | detect | t, s, m, c | 1.0以内 |
| YOLOX | detect | n, t, s, m, l, x | nはより大きい |
| YOLOv2 | detect | t, b | 1.0以内 |
| YOLOv3 | detect | t, b, spp | 1.0以内 |
| YOLOv4 | detect | t, b | bはより大きい |
| YOLOv7 | detect | b | 1.0以内 |
| PP-YOLOE | detect | s, m, l, x | s、m、xはより大きい |
| PicoDet | detect | s, m, l | より大きい |
| RTMDet | detect | t, s, m, l | より大きい |
| RTMDet-Ins | segment | t, s, m, l | より大きい |
| RetinaNet | detect | r50 | より大きい |
| SSD | detect | 300 | 1.0以内 |
| EfficientDet | detect | d0, d1, d2 | より大きい |
| ResNet | classify | 18, 34, 50, 101 | 1.0以内 |
| MobileNetV4 | classify | s, m, l | sとlはより大きい |
| EfficientNetV2 | classify | b0 | より大きい |
| VGG | classify | 16, 19, 16bn, 19bn | 19bnはより大きい |
| AlexNet | classify | b | 1.0以内 |
| FCN | semantic | r50, r101 | 1.0以内 |
| DeepLabV3 | semantic | mv3 | より大きい |
| MiDaS | depth | s | より大きい |
| QuickSRNet | restore | m2 | より大きい |
| Real-ESRGAN | restore | x4t | より大きい |
計測した差分の一部を示します。COCO val2017の1000枚の画像でのmAP50-95で、デバイス上のINT8を同じ画像でのFP32と比較したものです:YOLO9-sは0.4502から0.4450(-0.52)、YOLO9-tは-0.45、YOLO-NAS-sは-0.30、YOLOX-sは-0.48、YOLOX-nは-1.81(300枚)、PicoDet-mは-2.86、RTMDet-sは-6.75です。ResNet-50はImageNetV2のtop-1で0.7ポイント低下します。すべての数値を載せたサイズ別の表はライブラリのdocs/axelera.mdにあります。
構造上の理由でブロックされているもの:EfficientNetV2のb1〜b3、EfficientDet-d3、RTMDet-x、RTMDet-Ins-x、DeepLabV3のr50とr101、MiDaS-l、RetinaNet-r50v2、FCOS、HRNet、CenterNet、Faster R-CNN、ConvNeXtとConvNeXt V2、YOLOv1、EC、TinyFormer、NAFNet、TEED、ZipDepth。RF-DETRとその他のTransformer系ファミリーは対象外です。YOLO9-E2E、YOLO9-P2、EfficientDet-d4、Real-ESRGANのx4とx2、PIDNet、DEKR、UNetはまだ計測されていません。
ライセンス
LibreYOLOのコードはMITです。axelera-devkitとaxelera-rtはAxelera社のプロプライエタリなソフトウェアで、自分でインストールします。コンパイル済みモデルは元になった重みのライセンスを引き継ぎます:YOLO-NASの学習済み重みは非商用かつ再配布不可であるため、LibreYOLOはYOLO-NASの.axmファイルをホストしておらず、各ユーザーが自分でコンパイルします。axeleraのセルがどのように決まるかはエクスポート対応表を参照してください。