InternVL3

Instalação

O InternVL3 precisa do extra vlm, que traz junto o transformers para o backbone de templates de chat.

pip install "libreyolo[vlm]"

Predição

LibreInternVL3 é uma classe Python, não um checkpoint .pt: ele não é carregado pela factory LibreYOLO(), e a CLI libreyolo não o resolve. A factory LibreVLM(...) (from libreyolo import LibreVLM) também alcança esta família por alias, por exemplo LibreVLM("internvl3-2b"); a classe usada abaixo é a que ela constrói. Os pesos vêm dos próprios repositórios -hf da OpenGVLab no Hugging Face, não de um mirror do LibreYOLO; a primeira chamada baixa e guarda em cache localmente, e antes disso registra um aviso de licença único sobre os pesos Qwen, que são de acesso restrito.

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Vocabulário aberto: vale qualquer palavra, não uma cabeça de# classes fixa. Persiste em cada predict()/track() posterior até# ser definido de novo.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # A via de escape sob a comodidade da detecção: perguntas livres,# contagens ou qualquer prompt que o wrapper de boxes não cubra.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes carrega as detecções já parseadas como em qualquer outra família. A confiança é um marcador de posição: o InternVL3 não emite nenhuma pontuação por box, então toda detecção recebe a mesma confiança constante, e conf= só descarta as linhas abaixo dessa constante, ele não as ordena. iou descarta boxes quase duplicados da mesma classe acima da sobreposição indicada, um efeito colateral de a decodificação gulosa repetir um objeto; não é uma passada de NMS por classe. Pule set_classes() e o vocabulário cai nos nomes do COCO-80 por padrão. Veja predição para fontes, streaming e tratamento de resultados.

Variantes

Três tamanhos: 1b, 2b e 8b, todos checkpoints -hf nativos da OpenGVLab (um backbone de LLM Qwen, não a arquitetura de torre dupla que o paper original do InternVL descreve). O harness de benchmark do LibreYOLO não mediu esta família, então não há números de acurácia publicados para compará-los; escolha um tamanho de acordo com o seu próprio orçamento de computação.

O LibreYOLO expõe esta família apenas para predição. train(), val() e export() levantam todos NotImplementedError: faça o fine-tuning upstream e carregue o resultado, a validação sobre dataset é ignorada porque uma confiança de marcador de posição tornaria o mAP do COCO enganoso, e a exportação está fora de escopo para um modelo generativo sem state dict para traçar.

Licenciamento

Citação

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}