SEA-RAFT
SEA-RAFT(Simple, Efficient, Accurate RAFT)はWang、Lipson、DengによるRAFTの系譜のモデルです(ECCV 2024)。2枚のフレーム間の密なオプティカルフローを予測し、LibreYOLOの他のフローファミリーとは異なり、ピクセルごとの信頼度マップも予測します。LibreYOLOはアップストリームの推論コードを移植し、SとMのチェックポイントをミラーしています。
- タスク
- optical flow
- サイズ
- s, m, l at 960 px
- インストール
pip install libreyolo- サポートティア
- 推論のみ、v1.8.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
- ライセンス
- コード:MIT、重み:BSD-3-Clause。商用利用
SEA-RAFTはRAFTの全ペア相関ピラミッドを維持しつつ、初期フローを直接回帰し、ConvNeXtの更新ブロックでリファインし、混合ラプラス損失で学習します。予測された混合分布の分散を、LibreYOLOはflow.confidenceに変換します。オプティカルフローのタスクページが例で使っているファミリーです。フローとあわせてピクセルごとの信頼度が欲しい場合に選んでください。
インストール
SEA-RAFTには追加のextraは不要です。インポートするものはすべて基本インストールに含まれています。
pip install libreyolo推論
重みは初回使用時にLibreYOLOのHugging Face organizationからダウンロードされます。モデルを直接構築したい場合は、LibreSEARAFTクラスもlibreyoloからエクスポートされています。
from libreyolo import LibreYOLO model = LibreYOLO("LibreSEARAFTm-flow.pt") # 初回使用時に重みをダウンロードresults = model(["frame_0001.jpg", "frame_0002.jpg"]) flow = results[0].flowprint(flow.data.shape) # (H, W, 2) float32 でピクセル単位の (dx, dy)print(flow.mean_magnitude) # ピクセル単位の平均変位from libreyolo import LibreYOLO model = LibreYOLO("LibreSEARAFTm-flow.pt") # N フレームから N - 1 個の結果 結果 i はフレーム i から i + 1 へのフローfor result in model("video.mp4", stream=True, save=True, save_flow=True): print(result.flow.max_magnitude)libreyolo predict model=LibreSEARAFTm-flow.pt source=frame_0001.jpg,frame_0002.jpg save=truelibreyolo predict model=LibreSEARAFTm-flow.pt source=video.mp4 save=true arrows=true save_flow=trueフローには少なくとも2枚のフレームが必要です:画像1枚だけでは例外になります。画像のリスト、名前順に並べたディレクトリ、動画、ストリームはそれぞれ1つのシーケンスで、N枚のフレームからN - 1個の結果が得られます。result.flowは、最初のフレームの元のキャンバス上の(H, W, 2)のfloat32配列を持つFlowFieldです。flow.data[y, x]はピクセル単位の(dx, dy)で、+xは右、+yは下です。flow.confidenceは予測された混合分布の分散から導かれる[0, 1]の(H, W)マップです:値が大きいほど、そのピクセルのベクトルに対するネットワークの確信度が高いことを示します。result.boxesはNoneです。save=TrueはMiddleburyのカラーホイールを出力し、arrows=Trueまたはwarp=Trueで他の表示を選び、save_flow=Trueは各組の生のフィールドも.floファイルとして出力します。ペイロードと表示の詳細はオプティカルフローのタスクページで説明しています。
バリアント
| サイズ | エンコーダー | リファインメント反復回数 | ファイル |
|---|---|---|---|
s | ResNet18 | 4 | LibreSEARAFTs-flow.pt |
m | ResNet34 | 4 | LibreSEARAFTm-flow.pt |
l | ResNet34、mの重み | 12 | LibreSEARAFTl-flow.pt |
アップストリームはLの重みを個別には提供していません:lはmのチェックポイントを4回ではなく12回の反復で実行したものです。3つともアップストリームのTartan-C-T-TSKH-spring540x960チェックポイントです。LibreSEARAFTのデフォルトはサイズmです。長辺が学習時のクロップ幅である960 px以下のフレームは、本来の解像度で8の倍数にパディングして処理されます。それより大きいフレームは縮小され、フィールドは元のサイズへ拡大し直されます。この上限はimgszで変更できます。
学習は提供していません:train()はNotImplementedErrorを発生させます。
検証
val()はフローのデータセット(シーケンスフォルダーごとのフレームと、Middleburyの.flo、KITTIの16ビットPNG、または.npyの正解データ。データセット形式を参照)に対して共有のフローバリデーターを実行します。平均エンドポイント誤差metrics/epe、metrics/px1とmetrics/px3(誤差が1 pxおよび3 px未満の有効ピクセルの割合)、KITTIの外れ値率metrics/fl_allを報告します。
from libreyolo import LibreYOLO model = LibreYOLO("LibreSEARAFTm-flow.pt")metrics = model.val(data="my_flow.yaml") print(metrics["metrics/epe"]) # 平均エンドポイント誤差 ピクセル単位print(metrics["metrics/px1"]) # 誤差が 1 px 未満のピクセルの割合print(metrics["metrics/fl_all"]) # KITTI の外れ値率libreyolo val model=LibreSEARAFTm-flow.pt data=my_flow.yamlエクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Optical flow | Optical flow to ONNX:非対応 | Optical flow to TorchScript:非対応 | Optical flow to ExecuTorch:非対応 | Optical flow to TensorRT:非対応 | Optical flow to OpenVINO:非対応 | Optical flow to Paddle:非対応 | Optical flow to MNN:非対応 | Optical flow to RKNN:非対応 | Optical flow to Axelera:非対応 | Optical flow to ncnn:非対応 | Optical flow to TFLite:非対応 | Optical flow to CoreML:非対応 | Optical flow to Core AI:非対応 |
エクスポートはまだどの形式でも利用できません。オプティカルフローのエクスポートは、flowタスクの2入力グラフ(image1、image2)とバックエンドのベクトル再スケールの契約がいずれかのファミリーで実装されるまで保留されています。
チェックポイント
このファミリーで公開されているすべての重みファイルです。
| ファイル | 重みのライセンス |
|---|---|
| Optical flow | |
| LibreSEARAFTs-flow.pt | bsd-3-clause |
| LibreSEARAFTm-flow.pt | bsd-3-clause |
| LibreSEARAFTl-flow.pt | bsd-3-clause |
上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- SEA-RAFT, Princeton Vision & Learning Lab
- アップストリームのライセンス
- BSD-3-Clause
- アップストリームのソース
- github.com/princeton-vl/SEA-RAFT
- LibreYOLOのコード
- MIT
- 重み
- BSD-3-Clause、huggingface.co/LibreYOLOで再公開
- 解釈
- BSD-3-Clause is a permissive license: the code and weights can be used in commercial and closed-source products. Redistributions must keep the copyright notice, the license conditions and the disclaimer, and the authors' names may not be used to endorse derived products without permission. An inference subset of the upstream core/ package at commit 9137517b is vendored under libreyolo/models/searaft/_vendor/ with its BSD-3-Clause LICENSE; LibreYOLO's wrapper code is MIT. The weights are the upstream Tartan-C-T-TSKH-spring540x960 S and M checkpoints (MemorySlices on Hugging Face), which upstream publishes without a separate weight license; LibreYOLO mirrors them under the repository's BSD-3-Clause license and states that on the cards. Size l reuses the m weights with 12 refinement iterations instead of 4. No gating; inference only.
SEA-RAFTはPrinceton Vision & Learning LabのWang、Lipson、Dengの成果です。アップストリームのコードのうち推論に必要な部分が、BSD-3-Clauseライセンスの下で同梱されています。アップストリームはSとMの重みを個別の重みライセンスなしで公開しています。LibreYOLOはそれらをリポジトリのBSD-3-Clauseライセンスの下で、アクセス制限なしでミラーしています。BSD-3-Clauseは、著作権表示、条件、免責事項を残す限り、商用利用およびクローズドソースでの利用を許可しています。
引用
@article{wang2024sea,
title={SEA-RAFT: Simple, Efficient, Accurate RAFT for Optical Flow},
author={Wang, Yihan and Lipson, Lahav and Deng, Jia},
journal={arXiv preprint arXiv:2405.14793},
year={2024}
}著者によるgithub.com/princeton-vl/SEA-RAFTの引用ブロックからコピーしています。