FlowSeek
FlowSeekはPoggiとTosiによるオプティカルフローのネットワークです(ICCV 2025)。SEA-RAFT形式の再帰型ネットワークに、凍結したDepth Anything V2エンコーダーと深度から導いたモーション基底を加えています。LibreYOLOは4つのサイズでこれを移植しています。tとsはApache-2.0、mとlは非商用利用に限られます。
- タスク
- optical flow
- インストール
pip install libreyolo- サポートティア
- 推論のみ、v1.8.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
- アップストリーム
- University of BolognaのFlowSeek、Apache-2.0 (t and s checkpoints); CC-BY-NC-4.0 (m and l checkpoints)。論文、ソース
- ライセンス
- コード:Apache-2.0、重み:Apache-2.0 (t and s checkpoints); CC-BY-NC-4.0 (m and l checkpoints)。商用利用
FlowSeekは深度基盤モデルから幾何の知識を借ります。Depth Anything V2エンコーダーの特徴量と、深度から計算した一連のモーション基底が、再帰的なフロー更新に入力されます。ホストしているチェックポイントは、アップストリームの最終的な汎用ファインチューニング(TartanAir、Chairs、Things、続いてSintel、KITTI、HD1K、Thingsの混合ステージ)で、アップストリームがSpringとLayeredFlowで評価しているものです。商用の作業にはtまたはsを選んでください。mとlには非商用のエンコーダーが含まれます。
インストール
FlowSeekには追加のextraは不要です。インポートするものはすべて基本インストールに含まれています。
pip install libreyolo推論
重みは初回使用時にLibreYOLOのHugging Face organizationからダウンロードされます。モデルを直接構築したい場合は、LibreFlowSeekクラスもlibreyoloからエクスポートされています。
from libreyolo import LibreYOLO model = LibreYOLO("LibreFlowSeekt-flow.pt") # 初回使用時に重みをダウンロードresults = model(["frame_0001.jpg", "frame_0002.jpg"]) flow = results[0].flowprint(flow.data.shape) # (H, W, 2) float32 でピクセル単位の (dx, dy)print(flow.mean_magnitude) # ピクセル単位の平均変位from libreyolo import LibreYOLO model = LibreYOLO("LibreFlowSeekt-flow.pt") # N フレームから N - 1 個の結果 結果 i はフレーム i から i + 1 へのフローfor result in model("video.mp4", stream=True, save=True, save_flow=True): print(result.flow.max_magnitude)libreyolo predict model=LibreFlowSeekt-flow.pt source=frame_0001.jpg,frame_0002.jpg save=truelibreyolo predict model=LibreFlowSeekt-flow.pt source=video.mp4 save=true arrows=true save_flow=trueフローには少なくとも2枚のフレームが必要です:画像1枚だけでは例外になります。画像のリスト、名前順に並べたディレクトリ、動画、ストリームはそれぞれ1つのシーケンスで、N枚のフレームからN - 1個の結果が得られます。result.flowは、最初のフレームの元のキャンバス上の(H, W, 2)のfloat32配列を持つFlowFieldです。flow.data[y, x]はピクセル単位の(dx, dy)で、+xは右、+yは下です。FlowSeekは信頼度マップを出力しないため、flow.confidenceはNoneです。result.boxesはNoneです。save=TrueはMiddleburyのカラーホイールを出力し、arrows=Trueまたはwarp=Trueで他の表示を選び、save_flow=Trueは各組の生のフィールドも.floファイルとして出力します。ペイロードと表示の詳細はオプティカルフローのタスクページで説明しています。
バリアント
アップストリームは2つのネットワークを学習しています。sとlは、アップストリームの評価設定と同じく、tとmの重みをより多くのリファインメント反復で再利用します。
| サイズ | コンテキストネット | Depth Anything V2エンコーダー | 反復回数 | 重みのライセンス |
|---|---|---|---|---|
t | ResNet-18 | ViT-S | 4 | Apache-2.0 |
s | ResNet-18 | ViT-S | 12 | Apache-2.0 |
m | ResNet-34 | ViT-B | 4 | CC BY-NC 4.0、非商用 |
l | ResNet-34 | ViT-B | 12 | CC BY-NC 4.0、非商用 |
ファイル名はLibreFlowSeek<size>-flow.ptです。LibreFlowSeekのデフォルトはサイズmなので、商用利用できる重みが必要な場合はtまたはsのチェックポイントを明示的に渡してください。推論は本来の解像度で行われ、ネットワーク内で8の倍数にパディングされます。パディング後のキャンバスの各辺は128 px以上である必要があります。imgszは長辺の上限を設定します。
学習は提供していません:train()はNotImplementedErrorを発生させます。
検証
val()はフローのデータセット(シーケンスフォルダーごとのフレームと、Middleburyの.flo、KITTIの16ビットPNG、または.npyの正解データ。データセット形式を参照)に対して共有のフローバリデーターを実行します。平均エンドポイント誤差metrics/epe、metrics/px1とmetrics/px3(誤差が1 pxおよび3 px未満の有効ピクセルの割合)、KITTIの外れ値率metrics/fl_allを報告します。
from libreyolo import LibreYOLO model = LibreYOLO("LibreFlowSeekt-flow.pt")metrics = model.val(data="my_flow.yaml") print(metrics["metrics/epe"]) # 平均エンドポイント誤差 ピクセル単位print(metrics["metrics/px1"]) # 誤差が 1 px 未満のピクセルの割合print(metrics["metrics/fl_all"]) # KITTI の外れ値率libreyolo val model=LibreFlowSeekt-flow.pt data=my_flow.yamlエクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Optical flow | Optical flow to ONNX:非対応 | Optical flow to TorchScript:非対応 | Optical flow to ExecuTorch:非対応 | Optical flow to TensorRT:非対応 | Optical flow to OpenVINO:非対応 | Optical flow to Paddle:非対応 | Optical flow to MNN:非対応 | Optical flow to RKNN:非対応 | Optical flow to Axelera:非対応 | Optical flow to ncnn:非対応 | Optical flow to TFLite:非対応 | Optical flow to CoreML:非対応 | Optical flow to Core AI:非対応 |
エクスポートはまだどの形式でも利用できません。オプティカルフローのエクスポートは、flowタスクの2入力グラフ(image1、image2)とバックエンドのベクトル再スケールの契約がいずれかのファミリーで実装されるまで保留されています。
チェックポイント
このファミリーで公開されているすべての重みファイルです。
| ファイル | 重みのライセンス |
|---|---|
| Optical flow | |
| LibreFlowSeekt-flow.pt | apache-2.0 |
| LibreFlowSeeks-flow.pt | apache-2.0 |
| LibreFlowSeekm-flow.pt | cc-by-nc-4.0 |
| LibreFlowSeekl-flow.pt | cc-by-nc-4.0 |
上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- FlowSeek, University of Bologna
- アップストリームのライセンス
- Apache-2.0 (t and s checkpoints); CC-BY-NC-4.0 (m and l checkpoints)
- アップストリームのソース
- github.com/mattpoggi/flowseek
- LibreYOLOのコード
- MIT
- 重み
- Apache-2.0 (t and s checkpoints); CC-BY-NC-4.0 (m and l checkpoints)、huggingface.co/LibreYOLOで再公開
- 解釈
- The two checkpoint licenses are not interchangeable. Each FlowSeek checkpoint embeds a Depth Anything V2 encoder. The t and s checkpoints (one network, s runs 12 refinement iterations instead of 4) embed the ViT-S encoder and are Apache-2.0: they can be used in commercial and closed-source products, with the license text and attribution notices kept on redistribution. The m and l checkpoints embed the ViT-B encoder, which is CC BY-NC 4.0, so they are non-commercial and need attribution; treat them as research weights. Upstream publishes no separate checkpoint license, so the repository's Apache-2.0 license is applied as an implied grant, limited by the encoder license. The code at commit ba640737 is Apache-2.0 with BSD-3-Clause parts from SEA-RAFT, vendored under libreyolo/models/flowseek/_vendor/; LibreYOLO's wrapper code is MIT. Weights come from the upstream get_weights.sh links and are mirrored on the LibreYOLO Hugging Face org, the m and l cards with a non-commercial banner, without gating. Training is out of scope.
FlowSeekはボローニャ大学のPoggiとTosiの成果です。コードはApache-2.0で、SEA-RAFT由来のBSD-3-Clauseの部分を含み、LibreYOLOに同梱されています。
各チェックポイントにはDepth Anything V2エンコーダーが組み込まれているため、チェックポイントのライセンスはサイズによって異なります。
tとsはViT-Sエンコーダーを組み込んでおり、Apache-2.0です:商用利用およびクローズドソースでの利用が許可されています。mとlはCC BY-NC 4.0のViT-Bエンコーダーを組み込んでいます:非商用利用のみで、帰属表示が必要です。それらのモデルカードには非商用のバナーがあり、LibreYOLOは読み込み時に通知を表示します。
アップストリームはチェックポイント用の個別のライセンスを公開していないため、リポジトリのApache-2.0ライセンスが黙示の許諾として、エンコーダーのライセンスによる制限付きで適用されます。重みはLibreYOLOのHugging Face organizationにアクセス制限なしでミラーされています。
引用
@InProceedings{Poggi_2025_ICCV,
author = {Poggi, Matteo and Tosi, Fabio},
title = {FlowSeek: Optical Flow Made Easier with Depth Foundation Models and Motion Bases},
booktitle = {Proceedings of the International Conference on Computer Vision (ICCV)},
year = {2025},
}著者によるgithub.com/mattpoggi/flowseekの引用ブロックからコピーしています。