MobileNetV4

MobileNetV4 é um classificador de imagens feito para hardware mobile e de borda (edge), que usa o bloco Universal Inverted Bottleneck para unificar vários projetos de bloco mobile anteriores em uma única estrutura pesquisável. O LibreYOLO o suporta para uma tarefa: classificação.

Tarefas
classify
Tamanhos
s, m, l at 224 to 256 px
Instalação
pip install libreyolo
Nível de suporte
Compatível, desde a v. Modelos treináveis complementares: mantidos verdes na CI, com recursos incorporados quando há oportunidade.
Origem
MobileNetV4 por Google, Apache-2.0. Artigo, código-fonte
Licenças
Código Apache-2.0, pesos Apache-2.0. Uso comercial

Instalação

O MobileNetV4 não precisa de nenhum extra opcional. Tudo o que ele importa está na instalação base.

bash
pip install libreyolo

Predição

Os pesos são baixados do Hugging Face no primeiro uso e ficam em cache local.

Python
from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreMobileNetV4s-cls.pt")result = model(SAMPLE_IMAGE, save=True) print(result.probs.top1, result.probs.top1conf)print(result.probs.top5)
CLI
libreyolo predict model=LibreMobileNetV4s-cls.pt source=cat.jpg save=True

O objeto Results devolvido é o mesmo que todas as famílias devolvem, então trocar por outro modelo é uma mudança de uma linha. Um classificador não carrega boxes nem máscaras: result.probs guarda a predição da imagem inteira, com top1, top5, top1conf e top5conf. conf, iou e max_det são aceitos por paridade de API, mas não têm efeito, já que não há nada para limiarizar ou suprimir em um único vetor de probabilidades. Veja predição para fontes, streaming e tratamento de resultados.

Variantes

Três tamanhos, small/medium/large, todos somente convolucionais: esta família exclui as variantes híbridas que acrescentam a atenção Mobile MQA. Escolher um tamanho é uma troca direta entre número de parâmetros e acurácia. A tarefa é fixa: todos os tamanhos cobrem apenas classificação. O nome do arquivo de pesos termina em -cls.pt em todos os tamanhos, e é esse sufixo que a factory lê para rotear para esta família; nenhum argumento task= é necessário.

Treinamento

O fine-tuning parte do backbone de ImageNet publicado e reconstrói automaticamente a camada final do classificador para o número de classes do dataset alvo.

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreMobileNetV4s-cls.pt")model.train(data="imagenette160", epochs=5)
CLI
libreyolo train model=LibreMobileNetV4s-cls.pt data=imagenette160 epochs=5
Multi-GPU
libreyolo train model=LibreMobileNetV4s-cls.pt data=imagenette160 \  epochs=50 device=0,1 batch=-1

Sem mexer em nada, o trainer roda 100 épocas com lr0=1e-3 e AdamW, um batch de 64 e early stopping após 50 épocas sem melhora. data aceita a raiz de um dataset (train/ e val/, uma pasta por classe), um nome curto conhecido como imagenette160, ou uma URL de .zip. lora=True não é suportado aqui; passar esse argumento gera erro, já que o LoRA no LibreYOLO mira componentes de transformer com camadas nn.Linear e os blocos UIB desta família não têm nenhuma.

Veja treinamento para datasets, data augmentation, multi-GPU e loggers.

Validação

val() devolve um dicionário de chaves metrics/. Para classificação, são a acurácia top-1 e top-5 sobre o split de validação.

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreMobileNetV4s-cls.pt")metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])
CLI
libreyolo val model=LibreMobileNetV4s-cls.pt data=imagenette160

Exportação

TarefaONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNncnnTFLiteCoreMLCore AI
classifyclassify to ONNX: compatívelclassify to TorchScript: compatívelclassify to ExecuTorch: compatívelclassify to TensorRT: compatívelclassify to OpenVINO: compatívelclassify to Paddle: incompatívelclassify to MNN: incompatívelclassify to RKNN: incompatívelclassify to ncnn: compatívelclassify to TFLite: compatívelclassify to CoreML: incompatívelclassify to Core AI: compatível

Um artefato exportado é carregado de volta pelo LibreYOLO() a partir da extensão do arquivo, então um arquivo .onnx ou .engine se comporta como um checkpoint e devolve o mesmo Results. Exportação lista os argumentos que todo formato aceita e os extras que alguns deles acrescentam.

Python
from libreyolo import LibreYOLO model = LibreYOLO("LibreMobileNetV4s-cls.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)
CLI
libreyolo export model=LibreMobileNetV4s-cls.pt format=onnxlibreyolo export model=LibreMobileNetV4s-cls.pt format=tensorrt half=True
Usar o arquivo exportado
from libreyolo import LibreYOLO, SAMPLE_IMAGE # A factory decide pela extensão do arquivo, então um artefato exportado# carrega como qualquer checkpoint e devolve o mesmo objeto Results.model = LibreYOLO("LibreMobileNetV4s-cls.onnx")result = model(SAMPLE_IMAGE) print(result.probs.top1)

Checkpoints

Todos os arquivos de pesos publicados desta família.

ArquivoEntrada (px)Licença dos pesos
classify
LibreMobileNetV4s-cls.pt224apache-2.0
LibreMobileNetV4m-cls.pt224apache-2.0
LibreMobileNetV4l-cls.pt256apache-2.0

Todos os arquivos acima existem hoje na organização LibreYOLO e são baixados no primeiro uso.

Licenciamento

Confira a licença no repositório do Hugging Face correspondente aos pesos que você baixar. Cada checkpoint na organização LibreYOLO tem uma licença, e ela nem sempre é a mesma em toda a família. Esse repositório é a fonte oficial. O resumo abaixo descreve o que se aplicava na última verificação desta página.

Esta é uma descrição das licenças envolvidas, não uma orientação jurídica. Se a resposta tiver importância comercial, leia as licenças e procure sua própria assessoria.

Trabalho original
MobileNetV4, Google
Licença original
Apache-2.0
Código do LibreYOLO
MIT
Pesos
Apache-2.0, republicado em huggingface.co/LibreYOLO
Interpretação
Apache-2.0 is a permissive license, so these weights can be used in commercial and closed-source products. It asks you to keep its license text and attribution notices with any copy of the weights you redistribute, and it grants a patent license. It places no obligation on your own application code, and weights you train yourself on your own data are yours. The architecture is Google's design, whose official code lives in the tensorflow/models repository; LibreYOLO's implementation follows the conv-only MobileNetV4 (small/medium/large) block definitions, channel rounding and naming in timm, whose mobilenetv4_conv_{small,medium,large} ImageNet-1k weights are licensed Apache-2.0 and are what LibreYOLO ships. The hybrid variants, which add Mobile MQA attention, are not part of this family.

Verificado com o LibreYOLO v1.5.0. As tabelas de suporte, os checkpoints e os números de benchmark desta página são gerados a partir da biblioteca lançada e dos pesos publicados, não escritos à mão.