MEMFOF
MEMFOFはMSU Graphics & Media Labによる、メモリ効率の高いマルチフレームのオプティカルフローネットワークです(ICCV 2025 Highlight)。t-1、t、t+1の3フレームを読み取り、中央のフレームのフローを予測するもので、Full HD動画を対象としています。LibreYOLOのフローファミリーの中で、3フレームのウィンドウを読み取る唯一のものです。
- タスク
- optical flow
- サイズ
- m at 1920 px
- インストール
pip install libreyolo- サポートティア
- 推論のみ、v1.8.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
- ライセンス
- コード:MIT、重み:BSD-3-Clause。商用利用
MEMFOFはRAFTの系譜にあるモデルで、中央のフレームの後方向(tからt-1)と前方向(tからt+1)のフローを1回のパスで予測します。LibreYOLOは前方向のフローをResults.flowとして返します。後方向のフローも計算されますが、現時点ではタスクの契約には含めていません。ランナーが(t-1, t, t+1)のウィンドウを渡し、シーケンスの先頭ではフレーム0をt-1として繰り返すため、通常どおりリスト、フォルダー、動画を渡せます。高解像度の実世界の動画に選んでください。
インストール
MEMFOFには追加のextraは不要です。インポートするものはすべて基本インストールに含まれています。
pip install libreyolo推論
重みは初回使用時にLibreYOLOのHugging Face organizationからダウンロードされます。モデルを直接構築したい場合は、LibreMEMFOFクラスもlibreyoloからエクスポートされています。
from libreyolo import LibreYOLO model = LibreYOLO("LibreMEMFOFm-flow.pt") # 初回使用時に重みをダウンロードresults = model(["frame_0001.jpg", "frame_0002.jpg"]) flow = results[0].flowprint(flow.data.shape) # (H, W, 2) float32 でピクセル単位の (dx, dy)print(flow.mean_magnitude) # ピクセル単位の平均変位from libreyolo import LibreYOLO model = LibreYOLO("LibreMEMFOFm-flow.pt") # N フレームから N - 1 個の結果 結果 i はフレーム i から i + 1 へのフローfor result in model("video.mp4", stream=True, save=True, save_flow=True): print(result.flow.max_magnitude)libreyolo predict model=LibreMEMFOFm-flow.pt source=frame_0001.jpg,frame_0002.jpg save=truelibreyolo predict model=LibreMEMFOFm-flow.pt source=video.mp4 save=true arrows=true save_flow=trueフローには少なくとも2枚のフレームが必要です:画像1枚だけでは例外になります。画像のリスト、名前順に並べたディレクトリ、動画、ストリームはそれぞれ1つのシーケンスで、N枚のフレームからN - 1個の結果が得られます。result.flowは、最初のフレームの元のキャンバス上の(H, W, 2)のfloat32配列を持つFlowFieldです。flow.data[y, x]はピクセル単位の(dx, dy)で、+xは右、+yは下です。MEMFOFは信頼度マップを出力しないため、flow.confidenceはNoneです。result.boxesはNoneです。save=TrueはMiddleburyのカラーホイールを出力し、arrows=Trueまたはwarp=Trueで他の表示を選び、save_flow=Trueは各組の生のフィールドも.floファイルとして出力します。ペイロードと表示の詳細はオプティカルフローのタスクページで説明しています。
バリアント
アーキテクチャは1つ(ResNet-34 FPN)でサイズはm、チェックポイントは6つです。
| ファイル | アップストリームのチェックポイント |
|---|---|
LibreMEMFOFm-flow.pt | MEMFOF-Tartan-T-TSKH、著者が実世界の動画向けに推奨(標準) |
LibreMEMFOFm-flow-tartan-t.pt | 以前に公開された学習ステージ |
LibreMEMFOFm-flow-tartan.pt | 以前に公開された学習ステージ |
LibreMEMFOFm-flow-kitti.pt | KITTIでのファインチューニング |
LibreMEMFOFm-flow-sintel.pt | Sintelでのファインチューニング |
LibreMEMFOFm-flow-spring.pt | Springでのファインチューニング |
フレームは本来の解像度で処理され、アップストリームと同じreplicateパディングで16の倍数にそろえられます。長辺がimgsz(デフォルトは1920で、MEMFOFが対象とするFull HD)を超えるフレームは先に縮小され、フィールドは元のサイズへ拡大し直されます。推論はアップストリームのデフォルトどおり、fp32で8回のリファインメント反復を行います。
学習は提供していません:train()はNotImplementedErrorを発生させます。
検証
val()はフローのデータセット(シーケンスフォルダーごとのフレームと、Middleburyの.flo、KITTIの16ビットPNG、または.npyの正解データ。データセット形式を参照)に対して共有のフローバリデーターを実行します。平均エンドポイント誤差metrics/epe、metrics/px1とmetrics/px3(誤差が1 pxおよび3 px未満の有効ピクセルの割合)、KITTIの外れ値率metrics/fl_allを報告します。
from libreyolo import LibreYOLO model = LibreYOLO("LibreMEMFOFm-flow.pt")metrics = model.val(data="my_flow.yaml") print(metrics["metrics/epe"]) # 平均エンドポイント誤差 ピクセル単位print(metrics["metrics/px1"]) # 誤差が 1 px 未満のピクセルの割合print(metrics["metrics/fl_all"]) # KITTI の外れ値率libreyolo val model=LibreMEMFOFm-flow.pt data=my_flow.yamlエクスポート
| タスク | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Optical flow | Optical flow to ONNX:非対応 | Optical flow to TorchScript:非対応 | Optical flow to ExecuTorch:非対応 | Optical flow to TensorRT:非対応 | Optical flow to OpenVINO:非対応 | Optical flow to Paddle:非対応 | Optical flow to MNN:非対応 | Optical flow to RKNN:非対応 | Optical flow to Axelera:非対応 | Optical flow to ncnn:非対応 | Optical flow to TFLite:非対応 | Optical flow to CoreML:非対応 | Optical flow to Core AI:非対応 |
エクスポートはまだどの形式でも利用できません。オプティカルフローのエクスポートは、flowタスクの2入力グラフ(image1、image2)とバックエンドのベクトル再スケールの契約がいずれかのファミリーで実装されるまで保留されています。
チェックポイント
このファミリーで公開されているすべての重みファイルです。
| ファイル | 重みのライセンス |
|---|---|
| Optical flow | |
| LibreMEMFOFm-flow.pt | bsd-3-clause |
| LibreMEMFOFm-flow-kitti.pt | bsd-3-clause |
| LibreMEMFOFm-flow-sintel.pt | bsd-3-clause |
| LibreMEMFOFm-flow-spring.pt | bsd-3-clause |
| LibreMEMFOFm-flow-tartan.pt | bsd-3-clause |
| LibreMEMFOFm-flow-tartan-t.pt | bsd-3-clause |
上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- MEMFOF, MSU Graphics & Media Lab
- アップストリームのライセンス
- BSD-3-Clause
- アップストリームのソース
- github.com/msu-video-group/memfof
- LibreYOLOのコード
- MIT
- 重み
- BSD-3-Clause、huggingface.co/LibreYOLOで再公開
- 解釈
- BSD-3-Clause is a permissive license: the code and weights can be used in commercial and closed-source products. Redistributions must keep the copyright notice, the license conditions and the disclaimer, and the authors' names may not be used to endorse derived products without permission. The upstream inference code at commit a51de9fc is vendored under libreyolo/models/memfof/_vendor/ with its BSD-3-Clause LICENSE; its gma.py attention modules come from GMA (zacjiang/GMA) under the WTFPL, shipped as LICENSE-GMA. LibreYOLO's wrapper code is MIT. The upstream checkpoints on Hugging Face (egorchistov/optical-flow-MEMFOF-*) are tagged bsd-3-clause but ship no license file, so LibreYOLO mirrors the six converted checkpoints (canonical, kitti, sintel, spring, tartan, tartan-t) under the code repository's BSD-3-Clause license. No gating; inference only.
MEMFOFはMSU Graphics & Media Labの成果です。アップストリームの推論コードはBSD-3-Clauseライセンスの下で同梱されています。そのアテンションモジュールはWTFPLの下にあるGMAに由来します。Hugging Face上のアップストリームのチェックポイントにはbsd-3-clauseのタグが付いていますが、ライセンスファイルは含まれていないため、LibreYOLOは変換した6つのチェックポイントをコードリポジトリのBSD-3-Clauseライセンスの下で、アクセス制限なしでミラーしています。BSD-3-Clauseは、著作権表示、条件、免責事項を残す限り、商用利用およびクローズドソースでの利用を許可しています。
引用
@article{bargatin2025memfof,
title={MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation},
author={Bargatin, Vladislav and Chistov, Egor and Yakovenko, Alexander and Vatolin, Dmitriy},
journal={arXiv preprint arXiv:2506.23151},
year={2025}
}著者によるgithub.com/msu-video-group/memfofの引用ブロックからコピーしています。