WAFT

WAFT(Warping-Alone Field Transforms)はWangとDengによるオプティカルフロー手法です(ICLR 2026)。RAFTのコストボリュームを、高解像度の特徴量ワーピングとViTによるリファインメントループに置き換えています。LibreYOLOはアップストリームのコードを移植し、特徴量エンコーダーごとに1つずつ、4つのゼロショットチェックポイントをミラーしています。

タスク
optical flow
インストール
pip install libreyolo
サポートティア
推論のみ、v1.8.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
アップストリーム
Princeton Vision & Learning LabのWAFT、BSD-3-Clause (s, m and l checkpoints); DINOv3 License (t checkpoint)。論文、ソース
ライセンス
コード:BSD-3-Clause、重み:BSD-3-Clause (s, m and l checkpoints); DINOv3 License (t checkpoint)。商用利用

WAFTはRAFTとその系譜のモデルが構築する相関ボリュームを使わず、代わりに各リファインメントステップの前に、現在のフロー推定で2枚目のフレームの高解像度特徴量をワープします。4つのチェックポイントはすべてアップストリームのゼロショットモデルです(TartanAir、続いてChairs、続いてThings)。特定のエンコーダーを選ぶ理由がなければ、アップストリームのREADMEが下流での利用に推奨するa1チェックポイントであるmを選んでください。

インストール

WAFTには追加のextraは不要です。インポートするものはすべて基本インストールに含まれています。

bash
pip install libreyolo

推論

重みは初回使用時にLibreYOLOのHugging Face organizationからダウンロードされます。モデルを直接構築したい場合は、LibreWAFTクラスもlibreyoloからエクスポートされています。

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreWAFTm-flow.pt")   # 初回使用時に重みをダウンロードresults = model(["frame_0001.jpg", "frame_0002.jpg"]) flow = results[0].flowprint(flow.data.shape)        # (H, W, 2) float32 でピクセル単位の (dx, dy)print(flow.mean_magnitude)    # ピクセル単位の平均変位
動画
from libreyolo import LibreYOLO model = LibreYOLO("LibreWAFTm-flow.pt") # N フレームから N - 1 個の結果 結果 i はフレーム i から i + 1 へのフローfor result in model("video.mp4", stream=True, save=True, save_flow=True):    print(result.flow.max_magnitude)
CLI
libreyolo predict model=LibreWAFTm-flow.pt source=frame_0001.jpg,frame_0002.jpg save=truelibreyolo predict model=LibreWAFTm-flow.pt source=video.mp4 save=true arrows=true save_flow=true

フローには少なくとも2枚のフレームが必要です:画像1枚だけでは例外になります。画像のリスト、名前順に並べたディレクトリ、動画、ストリームはそれぞれ1つのシーケンスで、N枚のフレームからN - 1個の結果が得られます。result.flowは、最初のフレームの元のキャンバス上の(H, W, 2)のfloat32配列を持つFlowFieldです。flow.data[y, x]はピクセル単位の(dx, dy)で、+xは右、+yは下です。WAFTは信頼度マップを出力しないため、flow.confidenceはNoneです。result.boxesはNoneです。save=TrueはMiddleburyのカラーホイールを出力し、arrows=Trueまたはwarp=Trueで他の表示を選び、save_flow=Trueは各組の生のフィールドも.floファイルとして出力します。ペイロードと表示の詳細はオプティカルフローのタスクページで説明しています。

バリアント

サイズアップストリームのチェックポイントパラメータファイル
ta2、DINOv3 ViT-S/16エンコーダー56.5 MLibreWAFTt-flow-dinov3.pt
sa2、Depth Anything V2 ViT-S56.9 MLibreWAFTs-flow-dav2.pt
ma1、Depth Anything V2 ViT-S64.2 MLibreWAFTm-flow.pt
la2、Twins-SVT-Largeエンコーダー136.0 MLibreWAFTl-flow-twins.pt

エンコーダーはファイル名の重みバリアントで、各サイズは表の名前でのみ存在します。それ以外の組み合わせは、公開されている名前を示して例外になります。LibreWAFTのデフォルトはサイズmです。推論は本来の解像度で行われます:ネットワークはエンコーダーに応じてフレームの組を112、32、または16の倍数にパディングし、フローを元のサイズに切り戻します。リファインメント反復はアップストリームの評価時のデフォルトである5回に固定されています。imgszは長辺の上限を設定します(デフォルトは8192で、実質的に上限なし)。

学習は提供していません:train()はNotImplementedErrorを発生させます。

検証

val()はフローのデータセット(シーケンスフォルダーごとのフレームと、Middleburyの.flo、KITTIの16ビットPNG、または.npyの正解データ。データセット形式を参照)に対して共有のフローバリデーターを実行します。平均エンドポイント誤差metrics/epe、metrics/px1とmetrics/px3(誤差が1 pxおよび3 px未満の有効ピクセルの割合)、KITTIの外れ値率metrics/fl_allを報告します。

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreWAFTm-flow.pt")metrics = model.val(data="my_flow.yaml") print(metrics["metrics/epe"])      # 平均エンドポイント誤差 ピクセル単位print(metrics["metrics/px1"])      # 誤差が 1 px 未満のピクセルの割合print(metrics["metrics/fl_all"])   # KITTI の外れ値率
CLI
libreyolo val model=LibreWAFTm-flow.pt data=my_flow.yaml

エクスポート

タスクONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
Optical flowOptical flow to ONNX:非対応Optical flow to TorchScript:非対応Optical flow to ExecuTorch:非対応Optical flow to TensorRT:非対応Optical flow to OpenVINO:非対応Optical flow to Paddle:非対応Optical flow to MNN:非対応Optical flow to RKNN:非対応Optical flow to Axelera:非対応Optical flow to ncnn:非対応Optical flow to TFLite:非対応Optical flow to CoreML:非対応Optical flow to Core AI:非対応

エクスポートはまだどの形式でも利用できません。オプティカルフローのエクスポートは、flowタスクの2入力グラフ(image1、image2)とバックエンドのベクトル再スケールの契約がいずれかのファミリーで実装されるまで保留されています。

チェックポイント

このファミリーで公開されているすべての重みファイルです。

ファイル重みのライセンス
Optical flow
LibreWAFTm-flow.ptbsd-3-clause
LibreWAFTt-flow-dinov3.ptDINOv3 License
LibreWAFTs-flow-dav2.ptbsd-3-clause
LibreWAFTl-flow-twins.ptbsd-3-clause

上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
WAFT, Princeton Vision & Learning Lab
アップストリームのライセンス
BSD-3-Clause (s, m and l checkpoints); DINOv3 License (t checkpoint)
アップストリームのソース
github.com/princeton-vl/WAFT
LibreYOLOのコード
MIT
重み
BSD-3-Clause (s, m and l checkpoints); DINOv3 License (t checkpoint)、huggingface.co/LibreYOLOで再公開
解釈
The license depends on the size, because each checkpoint embeds a different encoder. The s, m and l checkpoints are BSD-3-Clause, a permissive license that allows commercial and closed-source use as long as the copyright notice, conditions and disclaimer are kept on redistribution; their encoders are Apache-2.0 (Depth Anything V2 Small for s and m, Twins-SVT-Large from timm for l), which is also permissive. The t checkpoint contains a DINOv3 ViT-S/16 fine-tuned by the WAFT authors, so Meta's DINOv3 License applies to it: a custom license, not OSI-approved, with its own use restrictions and conditions; read it before relying on t commercially. Upstream publishes no separate weight license, so LibreYOLO hosts the checkpoints under the repository's BSD-3-Clause license plus the encoder license. The code from princeton-vl/WAFT at commit b152ff1 is vendored under libreyolo/models/waft/_vendor/ (BSD-3-Clause); the encoders reuse code already in LibreYOLO (Depth Anything V2, Apache-2.0; DINOv3 from the DEIMv2 vendor, DINOv3 License) and a plain-torch Twins copy derived from timm (Apache-2.0). LibreYOLO's wrapper code is MIT. Weights come from the upstream Google Drive model zoo and are mirrored on the LibreYOLO Hugging Face org without gating. Inference only.

WAFTはPrinceton Vision & Learning LabのWangとDengの成果です。アップストリームのコードはBSD-3-Clauseライセンスの下で同梱されています。アップストリームは個別の重みライセンスを公開していないため、LibreYOLOはチェックポイントを、リポジトリのBSD-3-Clauseライセンスに各チェックポイントが組み込むエンコーダーのライセンスを加えた条件の下で、アクセス制限なしでミラーしています。

  • s、m、lはBSD-3-Clauseです。それらのエンコーダーはApache-2.0です(sとmはDepth Anything V2 Small、lはtimmから派生したTwins-SVT-Largeのコピー)。商用利用およびクローズドソースでの利用が許可されています。
  • tにはWAFTの著者がファインチューニングしたDINOv3 ViT-S/16が含まれるため、MetaのDINOv3 Licenseが適用されます:OSI承認ではない独自のライセンスで、固有の利用制限と貿易管理の条項があります。tを商用で使う前に必ず読んでください。

引用

@article{wang2025waft,
  title={WAFT: Warping-Alone Field Transforms for Optical Flow},
  author={Wang, Yihan and Deng, Jia},
  journal={arXiv preprint arXiv:2506.21526},
  year={2025}
}

著者によるgithub.com/princeton-vl/WAFTの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。