ViTMatte

ViTMatte predicts a foreground alpha matte from an image and a trimap.

Tareas: background removal
Tamaños: s at 512 px
Instalación: pip install libreyolo
Nivel de compatibilidad: Solo inferencia, desde v1.6.0. Solo permite predecir, validar y exportar. Las funciones de entrenamiento no se aplican.
Proyecto original: ViTMatte de HUST Vision Lab, MIT code; Apache-2.0 weights. Artículo, fuente
Licencias: Código MIT, pesos MIT code; Apache-2.0 weights. Uso comercial

Install

bash

pip install "libreyolo"

Predict

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreViTMattes-matte.pt", device="cpu")import numpy as npfrom PIL import Image image = Image.open(SAMPLE_IMAGE).convert("RGB")# An all-unknown guide demonstrates the input contract. Supply a real trimap for matting.trimap = np.full((image.height, image.width), 128, dtype=np.uint8)result = model(image, trimap=trimap)result.save("cutout.png")

A trimap marks background as 0, unknown pixels as 128 and foreground as 255. Pass it through trimap= for a single image. Validation accepts trimap_dir or derives guides with trimap_radius. Training and export are not supported.

Validate

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreViTMattes-matte.pt", device="cpu")# A folder with images/ and mattes/ (grayscale alpha mattes, same file stems), or a matte YAML.metrics = model.val(data="path/to/your/matte_dataset", workers=0)print(metrics)

Use the dataset format for this task. Validation explains the dataset requirements and returned metrics.

Checkpoints

Archivo	Licencia de los pesos
Background removal
LibreViTMattes-matte.pt	other

Todos los archivos anteriores existen hoy en la organización de LibreYOLO y se descargan la primera vez que se usan.

Licensing

Comprueba la licencia en el repositorio de Hugging Face de los pesos concretos que descargues. Cada checkpoint de la organización de LibreYOLO incluye una, y no siempre es la misma en toda una familia. Ese repositorio es la fuente autorizada; el resumen siguiente describe qué se aplicaba cuando se verificó esta página por última vez.

Esta es una descripción de las licencias implicadas, no asesoramiento legal. Si la respuesta es importante a nivel comercial, lee las licencias y busca tu propio asesoramiento.

Trabajo original: ViTMatte, HUST Vision Lab
Licencia del proyecto original: MIT code; Apache-2.0 weights
Fuente del proyecto original: github.com/hustvl/ViTMatte
Código de LibreYOLO: MIT
Pesos: MIT code; Apache-2.0 weights, republicados en huggingface.co/LibreYOLO
Interpretación: The original code is MIT. The publisher card for hustvl/vitmatte-small-composition-1k declares Apache-2.0 for the weights.

Citation

@article{yao2024vitmatte,
  title={ViTMatte: Boosting image matting with pre-trained plain vision transformers},
  author={Yao, Jingfeng and Wang, Xinggang and Yang, Shusheng and Wang, Baoyuan},
  journal={Information Fusion},
  volume={103},
  pages={102091},
  year={2024},
  publisher={Elsevier}
}

Copiado del bloque de cita de los autores en raw.githubusercontent.com/hustvl/ViTMatte/main/README.md.