ViTMatte
ViTMatteは、画像とトライマップから前景のアルファマットを予測します。
- タスク
- background removal
- サイズ
- s at 512 px
- インストール
pip install libreyolo- サポートティア
- 推論のみ、v1.6.0以降。推論、検証、エクスポートのみです。学習機能は対象外です。
- ライセンス
- コード：MIT、重み：MIT code; Apache-2.0 weights。商用利用
インストール
bash
pip install "libreyolo"推論
Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreViTMattes-matte.pt", device="cpu")import numpy as npfrom PIL import Image image = Image.open(SAMPLE_IMAGE).convert("RGB")# 入力形式を示すため全ピクセルを未確定に設定 # マッティングには実際のトライマップを指定trimap = np.full((image.height, image.width), 128, dtype=np.uint8)result = model(image, trimap=trimap)result.save("cutout.png")トライマップでは、背景を0、未確定のピクセルを128、前景を255で表します。単一画像ではtrimap=で渡してください。検証ではtrimap_dirを指定するか、trimap_radiusでガイドを生成します。学習とエクスポートには対応していません。
検証
Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreViTMattes-matte.pt", device="cpu")# images/とmattes/（同じファイル名のグレースケールのアルファマット）を含むフォルダ、またはマット用YAMLmetrics = model.val(data="path/to/your/matte_dataset", workers=0)print(metrics)タスクに対応する形式のデータセットを使います。検証でデータセットの要件と返される指標を説明しています。
チェックポイント
| ファイル | 重みのライセンス |
|---|---|
| Background removal | |
| LibreViTMattes-matte.pt | other |
上記のすべてのファイルは現在LibreYOLO orgにあり、初回使用時にダウンロードされます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- ViTMatte, HUST Vision Lab
- アップストリームのライセンス
- MIT code; Apache-2.0 weights
- アップストリームのソース
- github.com/hustvl/ViTMatte
- LibreYOLOのコード
- MIT
- 重み
- MIT code; Apache-2.0 weights、huggingface.co/LibreYOLOで再公開
- 解釈
- The original code is MIT. The publisher card for hustvl/vitmatte-small-composition-1k declares Apache-2.0 for the weights.
引用
@article{yao2024vitmatte,
title={ViTMatte: Boosting image matting with pre-trained plain vision transformers},
author={Yao, Jingfeng and Wang, Xinggang and Yang, Shusheng and Wang, Baoyuan},
journal={Information Fusion},
volume={103},
pages={102091},
year={2024},
publisher={Elsevier}
}著者によるraw.githubusercontent.com/hustvl/ViTMatte/main/README.mdの引用ブロックからコピーしています。
