WAFT
WAFT(Warping-Alone Field Transforms)はWangとDengによるオプティカルフロー手法です(ICLR 2026)。RAFTのコストボリュームを、高解像度の特徴量ワーピングとViTによるリファインメントループに置き換えています。LibreYOLOはアップストリームのコードを移植し、特徴量エンコーダーごとに1つずつ、4つのゼロショットチェックポイントをミラーしています。
- タスク
- optical flow
- インストール
pip install libreyolo- サポートティア
- 推論のみ、v1.8.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
- アップストリーム
- Princeton Vision & Learning LabのWAFT、BSD-3-Clause (s, m and l checkpoints); DINOv3 License (t checkpoint)。論文、ソース
- ライセンス
- コード:BSD-3-Clause、重み:BSD-3-Clause (s, m and l checkpoints); DINOv3 License (t checkpoint)。商用利用
WAFTはRAFTとその系譜のモデルが構築する相関ボリュームを使わず、代わりに各リファインメントステップの前に、現在のフロー推定で2枚目のフレームの高解像度特徴量をワープします。4つのチェックポイントはすべてアップストリームのゼロショットモデルです(TartanAir、続いてChairs、続いてThings)。特定のエンコーダーを選ぶ理由がなければ、アップストリームのREADMEが下流での利用に推奨するa1チェックポイントであるmを選んでください。
インストール
WAFTには追加のextraは不要です。インポートするものはすべて基本インストールに含まれています。
pip install libreyolo推論
重みは初回使用時にLibreYOLOのHugging Face organizationからダウンロードされます。モデルを直接構築したい場合は、LibreWAFTクラスもlibreyoloからエクスポートされています。
from libreyolo import LibreYOLO model = LibreYOLO("LibreWAFTm-flow.pt") # 初回使用時に重みをダウンロードresults = model(["frame_0001.jpg", "frame_0002.jpg"]) flow = results[0].flowprint(flow.data.shape) # (H, W, 2) float32 でピクセル単位の (dx, dy)print(flow.mean_magnitude) # ピクセル単位の平均変位from libreyolo import LibreYOLO model = LibreYOLO("LibreWAFTm-flow.pt") # N フレームから N - 1 個の結果 結果 i はフレーム i から i + 1 へのフローfor result in model("video.mp4", stream=True, save=True, save_flow=True): print(result.flow.max_magnitude)libreyolo predict model=LibreWAFTm-flow.pt source=frame_0001.jpg,frame_0002.jpg save=truelibreyolo predict model=LibreWAFTm-flow.pt source=video.mp4 save=true arrows=true save_flow=trueフローには少なくとも2枚のフレームが必要です:画像1枚だけでは例外になります。画像のリスト、名前順に並べたディレクトリ、動画、ストリームはそれぞれ1つのシーケンスで、N枚のフレームからN - 1個の結果が得られます。result.flowは、最初のフレームの元のキャンバス上の(H, W, 2)のfloat32配列を持つFlowFieldです。flow.data[y, x]はピクセル単位の(dx, dy)で、+xは右、+yは下です。WAFTは信頼度マップを出力しないため、flow.confidenceはNoneです。result.boxesはNoneです。save=TrueはMiddleburyのカラーホイールを出力し、arrows=Trueまたはwarp=Trueで他の表示を選び、save_flow=Trueは各組の生のフィールドも.floファイルとして出力します。ペイロードと表示の詳細はオプティカルフローのタスクページで説明しています。
バリアント
| サイズ | アップストリームのチェックポイント | パラメータ | ファイル |
|---|---|---|---|
t | a2、DINOv3 ViT-S/16エンコーダー | 56.5 M | LibreWAFTt-flow-dinov3.pt |
s | a2、Depth Anything V2 ViT-S | 56.9 M | LibreWAFTs-flow-dav2.pt |
m | a1、Depth Anything V2 ViT-S | 64.2 M | LibreWAFTm-flow.pt |
l | a2、Twins-SVT-Largeエンコーダー | 136.0 M | LibreWAFTl-flow-twins.pt |
エンコーダーはファイル名の重みバリアントで、各サイズは表の名前でのみ存在します。それ以外の組み合わせは、公開されている名前を示して例外になります。LibreWAFTのデフォルトはサイズmです。推論は本来の解像度で行われます:ネットワークはエンコーダーに応じてフレームの組を112、32、または16の倍数にパディングし、フローを元のサイズに切り戻します。リファインメント反復はアップストリームの評価時のデフォルトである5回に固定されています。imgszは長辺の上限を設定します(デフォルトは8192で、実質的に上限なし)。
学習は提供していません:train()はNotImplementedErrorを発生させます。
検証
val()はフローのデータセット(シーケンスフォルダーごとのフレームと、Middleburyの.flo、KITTIの16ビットPNG、または.npyの正解データ。データセット形式を参照)に対して共有のフローバリデーターを実行します。平均エンドポイント誤差metrics/epe、metrics/px1とmetrics/px3(誤差が1 pxおよび3 px未満の有効ピクセルの割合)、KITTIの外れ値率metrics/fl_allを報告します。
from libreyolo import LibreYOLO model = LibreYOLO("LibreWAFTm-flow.pt")metrics = model.val(data="my_flow.yaml") print(metrics["metrics/epe"]) # 平均エンドポイント誤差 ピクセル単位print(metrics["metrics/px1"]) # 誤差が 1 px 未満のピクセルの割合print(metrics["metrics/fl_all"]) # KITTI の外れ値率libreyolo val model=LibreWAFTm-flow.pt data=my_flow.yamlエクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Optical flow | Optical flow to ONNX:非対応 | Optical flow to TorchScript:非対応 | Optical flow to ExecuTorch:非対応 | Optical flow to TensorRT:非対応 | Optical flow to OpenVINO:非対応 | Optical flow to Paddle:非対応 | Optical flow to MNN:非対応 | Optical flow to RKNN:非対応 | Optical flow to Axelera:非対応 | Optical flow to ncnn:非対応 | Optical flow to TFLite:非対応 | Optical flow to CoreML:非対応 | Optical flow to Core AI:非対応 |
エクスポートはまだどの形式でも利用できません。オプティカルフローのエクスポートは、flowタスクの2入力グラフ(image1、image2)とバックエンドのベクトル再スケールの契約がいずれかのファミリーで実装されるまで保留されています。
チェックポイント
このファミリーで公開されているすべての重みファイルです。
| ファイル | 重みのライセンス |
|---|---|
| Optical flow | |
| LibreWAFTm-flow.pt | bsd-3-clause |
| LibreWAFTt-flow-dinov3.pt | DINOv3 License |
| LibreWAFTs-flow-dav2.pt | bsd-3-clause |
| LibreWAFTl-flow-twins.pt | bsd-3-clause |
上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- WAFT, Princeton Vision & Learning Lab
- アップストリームのライセンス
- BSD-3-Clause (s, m and l checkpoints); DINOv3 License (t checkpoint)
- アップストリームのソース
- github.com/princeton-vl/WAFT
- LibreYOLOのコード
- MIT
- 重み
- BSD-3-Clause (s, m and l checkpoints); DINOv3 License (t checkpoint)、huggingface.co/LibreYOLOで再公開
- 解釈
- The license depends on the size, because each checkpoint embeds a different encoder. The s, m and l checkpoints are BSD-3-Clause, a permissive license that allows commercial and closed-source use as long as the copyright notice, conditions and disclaimer are kept on redistribution; their encoders are Apache-2.0 (Depth Anything V2 Small for s and m, Twins-SVT-Large from timm for l), which is also permissive. The t checkpoint contains a DINOv3 ViT-S/16 fine-tuned by the WAFT authors, so Meta's DINOv3 License applies to it: a custom license, not OSI-approved, with its own use restrictions and conditions; read it before relying on t commercially. Upstream publishes no separate weight license, so LibreYOLO hosts the checkpoints under the repository's BSD-3-Clause license plus the encoder license. The code from princeton-vl/WAFT at commit b152ff1 is vendored under libreyolo/models/waft/_vendor/ (BSD-3-Clause); the encoders reuse code already in LibreYOLO (Depth Anything V2, Apache-2.0; DINOv3 from the DEIMv2 vendor, DINOv3 License) and a plain-torch Twins copy derived from timm (Apache-2.0). LibreYOLO's wrapper code is MIT. Weights come from the upstream Google Drive model zoo and are mirrored on the LibreYOLO Hugging Face org without gating. Inference only.
WAFTはPrinceton Vision & Learning LabのWangとDengの成果です。アップストリームのコードはBSD-3-Clauseライセンスの下で同梱されています。アップストリームは個別の重みライセンスを公開していないため、LibreYOLOはチェックポイントを、リポジトリのBSD-3-Clauseライセンスに各チェックポイントが組み込むエンコーダーのライセンスを加えた条件の下で、アクセス制限なしでミラーしています。
s、m、lはBSD-3-Clauseです。それらのエンコーダーはApache-2.0です(sとmはDepth Anything V2 Small、lはtimmから派生したTwins-SVT-Largeのコピー)。商用利用およびクローズドソースでの利用が許可されています。tにはWAFTの著者がファインチューニングしたDINOv3 ViT-S/16が含まれるため、MetaのDINOv3 Licenseが適用されます:OSI承認ではない独自のライセンスで、固有の利用制限と貿易管理の条項があります。tを商用で使う前に必ず読んでください。
引用
@article{wang2025waft,
title={WAFT: Warping-Alone Field Transforms for Optical Flow},
author={Wang, Yihan and Deng, Jia},
journal={arXiv preprint arXiv:2506.21526},
year={2025}
}著者によるgithub.com/princeton-vl/WAFTの引用ブロックからコピーしています。