ViT

El Vision Transformer clásico: un transformer puro aplicado a parches de imagen de tamaño fijo, con un class token aprendido y sin convoluciones. LibreYOLO incluye cuatro tamaños preentrenados con AugReg para clasificación de imágenes.

Tareas: classify
Tamaños: ti, s, b, l at 224 px
Instalación: pip install libreyolo
Nivel de compatibilidad: Solo inferencia, desde v. Solo permite predecir, validar y exportar. Las funciones de entrenamiento no se aplican.
Proyecto original: ViT de Google Research, Apache-2.0. Artículo, fuente
Licencias: Código Apache-2.0, pesos Apache-2.0. Uso comercial

Instalación

ViT no necesita ningún extra opcional. Todo lo que importa está en la instalación base.

bash

pip install libreyolo

Predicción

Los pesos se descargan de Hugging Face en el primer uso y se guardan en la caché local.

Python

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreViTti-cls.pt")result = model(SAMPLE_IMAGE, save=True) probs = result.probsprint(probs.top1, probs.top1conf)print(probs.top5, probs.top5conf)

CLI

libreyolo predict model=LibreViTti-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Un clasificador devuelve result.probs en lugar de result.boxes: top1 y top5 dan los índices de clase, y top1conf y top5conf dan sus confianzas. El preprocesado redimensiona y recorta al centro hasta una entrada fija de 224px, siguiendo la receta de evaluación AugReg de timm: interpolación bicúbica con una fracción de recorte de 0,9. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Cuatro tamaños, de tiny a large, que comparten un mismo grafo fijo de 224px con patch-16 y se diferencian en el ancho del embedding y en la profundidad del transformer. LibreYOLO incluye esta familia solo para inferencia: la predicción, la validación top-1/top-5 al estilo ImageNet y la exportación están soportadas, y la receta de fine-tuning de AugReg no está implementada.

Validación

val() se ejecuta sobre un split con estructura ImageFolder (un directorio con subcarpetas train/ y val/, una carpeta por clase) y devuelve la precisión top-1 y top-5.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreViTti-cls.pt") # data es un directorio raíz con splits train/ y val/ en carpetas por# clase (estructura ImageFolder), no un YAML de dataset.metrics = model.val(data="imagenet-1k/") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

CLI

libreyolo val model=LibreViTti-cls.pt data=imagenet-1k/

Exportación

Tarea	ONNX	TorchScript	ExecuTorch	TensorRT	OpenVINO	Paddle	MNN	RKNN	ncnn	TFLite	CoreML	Core AI
classify	classify to ONNX: compatible	classify to TorchScript: compatible	classify to ExecuTorch: compatible	classify to TensorRT: compatible	classify to OpenVINO: compatible	classify to Paddle: no compatible	classify to MNN: no compatible	classify to RKNN: no compatible	classify to ncnn: compatible	classify to TFLite: no compatible	classify to CoreML: no compatible	classify to Core AI: no compatible

Un artefacto exportado se vuelve a cargar con LibreYOLO() según su extensión de archivo, así que un archivo .onnx o .engine se comporta como un checkpoint y devuelve el mismo Results. Exportación enumera los argumentos que acepta cada formato y los extras que unos pocos añaden.

Python

from libreyolo import LibreYOLO model = LibreYOLO("LibreViTti-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

CLI

libreyolo export model=LibreViTti-cls.pt format=onnxlibreyolo export model=LibreViTti-cls.pt format=tensorrt half=True

Usar el archivo exportado

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factoría enruta según la extensión del archivo, así que un artefacto# exportado se carga como cualquier checkpoint y devuelve el mismo objeto# Results.model = LibreYOLO("LibreViTti-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoints

Todos los archivos de pesos publicados de esta familia.

Archivo	Entrada (px)	Licencia de los pesos
classify
LibreViTti-cls.pt	224	apache-2.0
LibreViTs-cls.pt	224	apache-2.0
LibreViTb-cls.pt	224	apache-2.0
LibreViTl-cls.pt	224	apache-2.0

Todos los archivos anteriores existen hoy en la organización de LibreYOLO y se descargan la primera vez que se usan.

Licencia

Comprueba la licencia en el repositorio de Hugging Face de los pesos concretos que descargues. Cada checkpoint de la organización de LibreYOLO incluye una, y no siempre es la misma en toda una familia. Ese repositorio es la fuente autorizada; el resumen siguiente describe qué se aplicaba cuando se verificó esta página por última vez.

Esta es una descripción de las licencias implicadas, no asesoramiento legal. Si la respuesta es importante a nivel comercial, lee las licencias y busca tu propio asesoramiento.

Trabajo original: ViT, Google Research
Licencia del proyecto original: Apache-2.0
Fuente del proyecto original: github.com/google-research/vision_transformer
Código de LibreYOLO: MIT
Pesos: Apache-2.0, republicados en huggingface.co/LibreYOLO
Interpretación: Apache-2.0 is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep its license text and attribution notices with any copy of the weights you redistribute, and it grants a patent license. It places no obligation on your own application code. LibreYOLO's runtime code for this family is a derived port of the Apache-2.0 timm Vision Transformer implementation (Ross Wightman, huggingface/pytorch-image-models), kept checkpoint-compatible with the shipped tensors. The four AugReg checkpoints themselves are timm's Apache-2.0 conversion of Google Research's own AugReg pretraining, so the code and the weights carry the same permissive terms end to end.

Cita

@article{dosovitskiy2020vit,
  title={An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale},
  author={Dosovitskiy, Alexey and Beyer, Lucas and Kolesnikov, Alexander and Weissenborn, Dirk and Zhai, Xiaohua and Unterthiner, Thomas and  Dehghani, Mostafa and Minderer, Matthias and Heigold, Georg and Gelly, Sylvain and Uszkoreit, Jakob and Houlsby, Neil},
  journal={ICLR},
  year={2021}
}

@article{steiner2021augreg,
  title={How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers},
  author={Steiner, Andreas and Kolesnikov, Alexander and and Zhai, Xiaohua and Wightman, Ross and Uszkoreit, Jakob and Beyer, Lucas},
  journal={arXiv preprint arXiv:2106.10270},
  year={2021}
}

Copiado del bloque de cita de los autores en github.com/google-research/vision_transformer#bibtex.