LaMa

LaMaは、画像のマスクされた領域を補完します。

タスク
restoration
インストール
pip install "libreyolo[onnx]"
サポートティア
推論のみ、v1.6.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
アップストリーム
Samsung ResearchのLaMa、Apache-2.0。論文、ソース
ライセンス
コード:MIT、重み:Apache-2.0。商用利用

インストール

bash
pip install "libreyolo[onnx]"

推論

Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreLaMab-restore.pt", device="cpu")import numpy as npfrom PIL import Image image = Image.open(SAMPLE_IMAGE).convert("RGB")mask = np.zeros((image.height, image.width), dtype=np.uint8)mask[image.height//3:2*image.height//3, image.width//3:2*image.width//3] = 255result = model(image, mask=mask)result.restored.save("inpainted.png")

単一画像の推論ではmask=を渡してください。ゼロ以外のピクセルが補完する領域を示します。チェックポイントにはONNXグラフが含まれ、ONNX Runtime 1.18以降が必要です。学習とエクスポートには対応していません。

検証

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreLaMab-restore.pt", device="cpu")# inputs/targets のペアフォルダと mask_dir キーを持つ復元データセット YAMLmetrics = model.val(data="path/to/your/restore.yaml", workers=0)print(metrics)

タスクに対応する形式のデータセットを使います。検証でデータセットの要件と返される指標を説明しています。

チェックポイント

ファイル重みのライセンス
Restoration
LibreLaMab-restore.ptapache-2.0

上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
LaMa, Samsung Research
アップストリームのライセンス
Apache-2.0
アップストリームのソース
github.com/advimman/lama
LibreYOLOのコード
MIT
重み
Apache-2.0、huggingface.co/LibreYOLOで再公開
解釈
The mirrored ONNX artifact carries the OpenCV publisher's Apache-2.0 declaration.

引用

@article{suvorov2021resolution,
  title={Resolution-robust Large Mask Inpainting with Fourier Convolutions},
  author={Suvorov, Roman and Logacheva, Elizaveta and Mashikhin, Anton and Remizova, Anastasia and Ashukha, Arsenii and Silvestrov, Aleksei and Kong, Naejin and Goka, Harshith and Park, Kiwoong and Lempitsky, Victor},
  journal={arXiv preprint arXiv:2109.07161},
  year={2021}
}

著者によるraw.githubusercontent.com/advimman/lama/main/README.mdの引用ブロックからコピーしています。

LibreYOLO v1.6.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。

LaMa のアーキテクチャ

バリアントまたはファミリー概要を選び、ブロックを選択すると詳細を確認できます。図全体を開くと、拡大や SVG、PNG のダウンロードができます。図のラベルは英語です。