Axelera Metis

format="axelera"はLibreYOLOのモデルをAxelera社のMetis AIPU向けのINT8の.axmにコンパイルし、エクスポートしたディレクトリはLibreYOLO()で読み戻して、PyTorchモデルと同じpredict、val、trackの呼び出しで使えます。1.8.0の新機能で、プレビュー扱いです。

フォーマット
export(format="axelera")
数値精度
INT8のみです。half=True、quantize=16、quantize=32は例外を送出します。
コンパイル環境
Linux x86_64(Ubuntu 22.04または24.04、あるいはWSL2)、Python 3.10〜3.13。コンパイルにMetisデバイスは不要です。
SDK
Axelera社独自のパッケージインデックスから入手するaxelera-devkitとaxelera-rt 1.9.0。LibreYOLOの追加インストールではありません
出力
weights/<stem>_axelera_model/
ステータス
プレビューです。23のファミリーを、SDK 1.9.0を使い1台のMetis M.2 Maxでコンパイル・計測しました。

インストール

Axelera SDKはAxelera社のEULAに基づくプロプライエタリなソフトウェアで、Axelera社独自のパッケージインデックスから配布されています。PyPIにはなく、LibreYOLOの追加インストールでもなく、LibreYOLOがこれを同梱することもありません。axelera-devkitはコンパイルを行い、axelera-rtはコンパイル済みモデルを実行します。デプロイ先のマシンに必要なのはaxelera-rtだけです。

専用の環境
python -m venv ~/venvs/axelera && source ~/venvs/axelera/bin/activatepip install "libreyolo[onnx]"   # コンパイルにはonnxの追加インストールが必要 # SDKは最後にインストール。そのwheelはLibreYOLOも使うパッケージのバージョンを固定する# コンパイル(エクスポート)用pip install --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple axelera-devkit==1.9.0# 実行(.axmの推論)用pip install --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple axelera-rt==1.9.0
LibreYOLOにインストールさせる
# これがない場合、SDKが見つからないと上記のpipコマンドを示して失敗export LIBREYOLO_AUTOINSTALL=1

専用の仮想環境を使ってください。SDK 1.9.0のwheelはLibreYOLOも使ういくつかのパッケージのバージョンを固定しており、pipはインストール時にそれらをダウングレードします:

パッケージ固定されるバージョン
torch>=2.7,<2.15
typer>=0.12,<0.13
click==8.1.8
rich<14
onnx<1.19
opencv-python<5
pillow<13

LibreYOLOはこれらすべてのバージョンで動作します。SDKのあとに他のLibreYOLOの追加インストールを入れると再びアップグレードされることがあるため、SDKは最後にインストールしてください。パッケージが不足している場合、エクスポートや読み込みは正確なpip installコマンドを示して失敗します。LIBREYOLO_AUTOINSTALL=1を設定すると、LibreYOLOがそのコマンドを代わりに実行し、そのことをログに記録します。

実行には、Metisデバイス、Axelera社のmetis-dkmsカーネルドライバー(SDK 1.9では1.7.0以降)、axelera-rtが必要です。axdeviceは各デバイスをファームウェアとともに一覧表示し、libreyolo checksはAxelera関連のパッケージと認識しているMetisデバイスを一覧表示します。

エクスポート

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9t.pt")path = model.export(format="axelera")   # weights/LibreYOLO9t_axelera_model # 自分のドメインでキャリブレーションし、パリティレポートを出力path = model.export(    format="axelera",    data="my_dataset.yaml",    fraction=0.5,    verify=True,)
CLI
libreyolo export model=LibreYOLO9t.pt format=axeleralibreyolo export model=LibreYOLO9t.pt format=axelera verify=true
引数Axeleraでの動作
imgszコンパイル済みモデルに固定されます。32の倍数です。デフォルトはチェックポイントのサイズ
dataキャリブレーション用のデータセットYAML。検出と姿勢推定ではデフォルトはcoco128.yaml
fractionキャリブレーション用分割のうち使用する割合。100〜400枚の画像を推奨し、100枚未満では警告がログに出ます
batchキャリブレーション用ローダーのバッチサイズのみ。コンパイル済みモデルは一度に1枚の画像を受け取ります
deviceモデルのトレースに使うtorchのデバイスで、Metisデバイスではありません
quantize、int8INT8は常に有効です。quantize=16、quantize=32、half=Trueは例外を送出します
dynamic常に静的です。dynamic=Trueは例外を送出します
opset中間ONNXグラフのopset。14〜17(デフォルトは17)
nms非対応:NMSはホストで実行されます
output_pathデフォルトはweights/<checkpoint stem>_axelera_model
verify量子化モデルをFP32と比較し、デバイスがあればデバイスとも比較した<stem>.parity.jsonを出力します
compiler_configPythonのみ:AxeleraのCompilerConfigフィールドのdict。未知のフィールドとLibreYOLOが管理するフィールドは例外を送出します

キャリブレーションにはモデル自身の前処理が使われます。ファインチューニングしたモデルでは、そのモデル自身のドメインの画像でキャリブレーションしてください。コンパイルには数分から数十分かかり、数GBのRAMを使います。

weights/LibreYOLO9t_axelera_model/    LibreYOLO9t.axm               compiled model    compiler_config_final.toml    compiler settings used for the build    metadata.yaml                 LibreYOLO metadata    LibreYOLO9t.parity.json       only with verify=True

ディレクトリ名はチェックポイントのファイル名から付けられます。YOLO-NASの学習済み重みは初回使用時に変換されるため、そのエクスポートはweights/LibreYOLONASs-converted_axelera_modelに出力されます。同じパスに再エクスポートした場合、ディレクトリが置き換えられるのは新しいビルドが成功したあとだけで、ONNXファイルやコンパイラーのビルドファイルは残りません。

成果物を実行する

Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE npu = LibreYOLO("weights/LibreYOLO9t_axelera_model")   # またはその中の.axmresults = npu(SAMPLE_IMAGE, conf=0.25)metrics = npu.val(data="coco128.yaml")for r in npu.track("video.mp4"):    print(r.track_id)
CLI
libreyolo predict model=weights/LibreYOLO9t_axelera_model source=image.jpglibreyolo val model=weights/LibreYOLO9t_axelera_model data=coco128.yamllibreyolo track model=weights/LibreYOLO9t_axelera_model source=video.mp4

ネットワークはMetis AIPUで実行され、前処理、ボックスのデコード、NMSはホストで実行されるため、ボックスの座標とスコアが8ビットのテンソルを通ることはありません。結果はPyTorchモデルと同じResultsオブジェクトです。入力サイズはエクスポート時に固定されます。device="auto"、"axelera"、"metis"、"aipu"、"cpu"はいずれもAIPUで実行され、CUDAデバイスは警告とともに無視されます。ディレクトリは、Metisデバイスとaxelera-rtがある任意のLinuxマシンにコピーして使えます。

対応ファミリー

以下のすべてのサイズはコンパイル、Metisデバイスでの実行、エクスポートができます。「1.0以内」は、対応付けたセットでINT8の結果がFP32から1.0ポイント以内であることを意味します。計測した低下幅がそれより大きいサイズもエクスポートでき、エクスポート時にその低下幅が一度だけ警告としてログに出ます。精度がエクスポートを妨げることはありません。各ファミリーとタスクはエクスポート対応表にそれぞれvalidatedまたはavailableのセルを持ち(libreyolo formats --family yolonasで表示されます)、記載のないものはコンパイル前に例外を送出します。

ファミリータスクサイズ計測した低下幅
YOLO-NASdetects, m, l1.0以内
YOLO-NASposen, s, m, lnとsはより大きい
YOLO-NAS-Robbs, m, l1.0以内。キャリブレーションデータが必要
YOLO9detectt, s, m, c1.0以内
YOLOXdetectn, t, s, m, l, xnはより大きい
YOLOv2detectt, b1.0以内
YOLOv3detectt, b, spp1.0以内
YOLOv4detectt, bbはより大きい
YOLOv7detectb1.0以内
PP-YOLOEdetects, m, l, xs、m、xはより大きい
PicoDetdetects, m, lより大きい
RTMDetdetectt, s, m, lより大きい
RTMDet-Inssegmentt, s, m, lより大きい
RetinaNetdetectr50より大きい
SSDdetect3001.0以内
EfficientDetdetectd0, d1, d2より大きい
ResNetclassify18, 34, 50, 1011.0以内
MobileNetV4classifys, m, lsとlはより大きい
EfficientNetV2classifyb0より大きい
VGGclassify16, 19, 16bn, 19bn19bnはより大きい
AlexNetclassifyb1.0以内
FCNsemanticr50, r1011.0以内
DeepLabV3semanticmv3より大きい
MiDaSdepthsより大きい
QuickSRNetrestorem2より大きい
Real-ESRGANrestorex4tより大きい

計測した差分の一部を示します。COCO val2017の1000枚の画像でのmAP50-95で、デバイス上のINT8を同じ画像でのFP32と比較したものです:YOLO9-sは0.4502から0.4450(-0.52)、YOLO9-tは-0.45、YOLO-NAS-sは-0.30、YOLOX-sは-0.48、YOLOX-nは-1.81(300枚)、PicoDet-mは-2.86、RTMDet-sは-6.75です。ResNet-50はImageNetV2のtop-1で0.7ポイント低下します。すべての数値を載せたサイズ別の表はライブラリのdocs/axelera.mdにあります。

構造上の理由でブロックされているもの:EfficientNetV2のb1〜b3、EfficientDet-d3、RTMDet-x、RTMDet-Ins-x、DeepLabV3のr50とr101、MiDaS-l、RetinaNet-r50v2、FCOS、HRNet、CenterNet、Faster R-CNN、ConvNeXtとConvNeXt V2、YOLOv1、EC、TinyFormer、NAFNet、TEED、ZipDepth。RF-DETRとその他のTransformer系ファミリーは対象外です。YOLO9-E2E、YOLO9-P2、EfficientDet-d4、Real-ESRGANのx4とx2、PIDNet、DEKR、UNetはまだ計測されていません。

ライセンス

LibreYOLOのコードはMITです。axelera-devkitとaxelera-rtはAxelera社のプロプライエタリなソフトウェアで、自分でインストールします。コンパイル済みモデルは元になった重みのライセンスを引き継ぎます:YOLO-NASの学習済み重みは非商用かつ再配布不可であるため、LibreYOLOはYOLO-NASの.axmファイルをホストしておらず、各ユーザーが自分でコンパイルします。axeleraのセルがどのように決まるかはエクスポート対応表を参照してください。

1.8.0リリース候補時点のdevブランチのdocs/axelera.md、libreyolo/export/axelera.py、libreyolo/export/support.py、libreyolo/cli/commands/export.pyを確認しました。精度の数値はライブラリ自身によるINT8とFP32の対応付き計測であり、このサイトでは再実行していません。