DPFlow
DPFlowはHenrique Morimitsuらによる適応型のオプティカルフロー推定モデルです(CVPR 2025)。デュアルピラミッドのエンコーダーが入力サイズに応じて深さを変えるため、低解像度で学習したモデルが4Kや8Kのフレームにも汎化します。LibreYOLOはptlflowからこれを移植しています。重みのライセンスはCC BY-NC-SA 4.0で、非商用利用に限られます。
- タスク
- optical flow
- インストール
pip install libreyolo- サポートティア
- 推論のみ、v1.8.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
- ライセンス
- コード:Apache-2.0、重み:CC-BY-NC-SA-4.0。商用利用
DPFlowは画像の対角線の長さからピラミッドのレベル数を選びます。1K前後で3レベル、解像度が2倍になるごとに1レベル増えます。LibreYOLOはこの規則を維持し、デフォルトではフレーム本来の解像度で実行します。適応的な深さが効いてくるのはまさにこの場合です。高解像度の映像を扱う研究に選んでください。重みは非商用です。
インストール
DPFlowには追加のextraは不要です。インポートするものはすべて基本インストールに含まれています。
pip install libreyolo推論
重みは初回使用時にLibreYOLOのHugging Face organizationからダウンロードされます。モデルを直接構築したい場合は、LibreDPFlowクラスもlibreyoloからエクスポートされています。
from libreyolo import LibreYOLO model = LibreYOLO("LibreDPFlowm-flow.pt") # 初回使用時に重みをダウンロードresults = model(["frame_0001.jpg", "frame_0002.jpg"]) flow = results[0].flowprint(flow.data.shape) # (H, W, 2) float32 でピクセル単位の (dx, dy)print(flow.mean_magnitude) # ピクセル単位の平均変位from libreyolo import LibreYOLO model = LibreYOLO("LibreDPFlowm-flow.pt") # N フレームから N - 1 個の結果 結果 i はフレーム i から i + 1 へのフローfor result in model("video.mp4", stream=True, save=True, save_flow=True): print(result.flow.max_magnitude)libreyolo predict model=LibreDPFlowm-flow.pt source=frame_0001.jpg,frame_0002.jpg save=truelibreyolo predict model=LibreDPFlowm-flow.pt source=video.mp4 save=true arrows=true save_flow=trueフローには少なくとも2枚のフレームが必要です:画像1枚だけでは例外になります。画像のリスト、名前順に並べたディレクトリ、動画、ストリームはそれぞれ1つのシーケンスで、N枚のフレームからN - 1個の結果が得られます。result.flowは、最初のフレームの元のキャンバス上の(H, W, 2)のfloat32配列を持つFlowFieldです。flow.data[y, x]はピクセル単位の(dx, dy)で、+xは右、+yは下です。DPFlowは信頼度マップを出力しないため、flow.confidenceはNoneです。result.boxesはNoneです。save=TrueはMiddleburyのカラーホイールを出力し、arrows=Trueまたはwarp=Trueで他の表示を選び、save_flow=Trueは各組の生のフィールドも.floファイルとして出力します。ペイロードと表示の詳細はオプティカルフローのタスクページで説明しています。
バリアント
アーキテクチャは1つでサイズはm、チェックポイントは4つです。
| ファイル | 学習ステージ |
|---|---|
LibreDPFlowm-flow.pt | FlyingThings3D(things)、汎化用のチェックポイント(標準) |
LibreDPFlowm-flow-sintel.pt | Sintelでのファインチューニング |
LibreDPFlowm-flow-kitti.pt | KITTIでのファインチューニング |
LibreDPFlowm-flow-spring.pt | Springでのファインチューニング |
反復スケジュールはアップストリームのテスト設定に固定されており、ピラミッドレベルごとに4回のリファインメント反復を行います。各組は独立に推定され、アップストリームのフレーム間のウォームスタートは使いません。imgszは長辺の上限を設定します(デフォルトは8192で、実質的に上限なし)。これを超えるフレームは縮小され、フィールドは元のキャンバスへ拡大し直されます。
学習は提供していません:train()はNotImplementedErrorを発生させます。
検証
val()はフローのデータセット(シーケンスフォルダーごとのフレームと、Middleburyの.flo、KITTIの16ビットPNG、または.npyの正解データ。データセット形式を参照)に対して共有のフローバリデーターを実行します。平均エンドポイント誤差metrics/epe、metrics/px1とmetrics/px3(誤差が1 pxおよび3 px未満の有効ピクセルの割合)、KITTIの外れ値率metrics/fl_allを報告します。
from libreyolo import LibreYOLO model = LibreYOLO("LibreDPFlowm-flow.pt")metrics = model.val(data="my_flow.yaml") print(metrics["metrics/epe"]) # 平均エンドポイント誤差 ピクセル単位print(metrics["metrics/px1"]) # 誤差が 1 px 未満のピクセルの割合print(metrics["metrics/fl_all"]) # KITTI の外れ値率libreyolo val model=LibreDPFlowm-flow.pt data=my_flow.yamlエクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Optical flow | Optical flow to ONNX:非対応 | Optical flow to TorchScript:非対応 | Optical flow to ExecuTorch:非対応 | Optical flow to TensorRT:非対応 | Optical flow to OpenVINO:非対応 | Optical flow to Paddle:非対応 | Optical flow to MNN:非対応 | Optical flow to RKNN:非対応 | Optical flow to Axelera:非対応 | Optical flow to ncnn:非対応 | Optical flow to TFLite:非対応 | Optical flow to CoreML:非対応 | Optical flow to Core AI:非対応 |
エクスポートはまだどの形式でも利用できません。オプティカルフローのエクスポートは、flowタスクの2入力グラフ(image1、image2)とバックエンドのベクトル再スケールの契約がいずれかのファミリーで実装されるまで保留されています。
チェックポイント
このファミリーで公開されているすべての重みファイルです。
| ファイル | 重みのライセンス |
|---|---|
| Optical flow | |
| LibreDPFlowm-flow.pt | cc-by-nc-sa-4.0 |
| LibreDPFlowm-flow-sintel.pt | cc-by-nc-sa-4.0 |
| LibreDPFlowm-flow-kitti.pt | cc-by-nc-sa-4.0 |
| LibreDPFlowm-flow-spring.pt | cc-by-nc-sa-4.0 |
上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- DPFlow, Henrique Morimitsu (ptlflow)
- アップストリームのライセンス
- CC-BY-NC-SA-4.0
- アップストリームのソース
- github.com/hmorimitsu/ptlflow
- LibreYOLOのコード
- MIT
- 重み
- CC-BY-NC-SA-4.0、huggingface.co/LibreYOLOで再公開
- 解釈
- The code and the weights carry different licenses. The weights were trained within ptlflow and are released under CC BY-NC-SA 4.0: commercial use is not allowed, redistribution needs attribution, and anything you build from the weights and share must carry the same license; the DPFlow README adds that the weights are for academic and research purposes only, because of the training datasets' licenses. Treat all four checkpoints (things as the canonical m, and the sintel, kitti and spring fine-tunes) as research weights. The code is Apache-2.0: ptlflow's models/dpflow at commit 43cdc2b5 is vendored under libreyolo/models/dpflow/_vendor/, with timm-derived helpers (Apache-2.0) and an input padder adapted from RAFT (BSD-3-Clause); LibreYOLO's wrapper code is MIT. The weights come from the ptlflow weights1 release and are mirrored on the LibreYOLO Hugging Face org with the license text and a non-commercial banner, without gating. Training is out of scope.
DPFlowはHenrique Morimitsuらの成果で、ptlflowで公開されています。コードと重みには異なるライセンスが適用されます。
- コードはApache-2.0です:ptlflowの
models/dpflowを、timm由来のヘルパー(Apache-2.0)とRAFTから改変した入力パディング(BSD-3-Clause)とともに同梱しています。 - 重みはCC BY-NC-SA 4.0です:非商用利用のみで、帰属表示が必要であり、これを元に作成して共有するものにも同じライセンスを適用する必要があります。DPFlowのREADMEは、学習データセットのライセンスのため、重みは学術・研究目的に限られるとも述べています。4つのチェックポイントはすべて研究用の重みとして扱ってください。
LibreYOLOは重みをライセンス文と非商用のバナーとともに、アクセス制限なしでミラーしており、読み込み時に通知を表示します。
引用
@InProceedings{Morimitsu2025DPFlow,
author = {Morimitsu, Henrique and Zhu, Xiaobin and Cesar-Jr., Roberto M. and Ji, Xiangyang and Yin, Xu-Cheng},
booktitle = {The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
title = {{DPFlow}: Adaptive Optical Flow Estimation with a Dual-Pyramid Framework},
year = {2025},
}著者によるgithub.com/hmorimitsu/ptlflow/tree/43cdc2b5fc7228e7090009a66e8e28e0b48e31ba/ptlflow/models/dpflow#citationの引用ブロックからコピーしています。