InternVL3

Instalación

InternVL3 necesita el extra vlm, que arrastra transformers para el backbone de plantillas de chat.

pip install "libreyolo[vlm]"

Predicción

LibreInternVL3 es una clase de Python, no un checkpoint .pt: no se carga a través de la factoría LibreYOLO(), y la CLI libreyolo no lo resuelve. La factoría LibreVLM(...) (from libreyolo import LibreVLM) también llega a esta familia por alias, p. ej. LibreVLM("internvl3-2b"); la clase que se usa abajo es la que construye. Los pesos vienen de los propios repositorios -hf de Hugging Face de OpenGVLab, no de un mirror de LibreYOLO; la primera llamada los descarga y los cachea en local, y antes registra un aviso de licencia único por los pesos de Qwen, que son de acceso restringido.

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Vocabulario abierto: vale cualquier palabra, no una cabeza de clases# fija. Persiste en cada predict()/track() posterior hasta volver a fijarlo.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # La vía de escape bajo la comodidad de la detección: preguntas libres,# recuentos o cualquier prompt que el envoltorio de cajas no cubra.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes lleva las detecciones parseadas igual que en cualquier otra familia. La confianza es un marcador de posición: InternVL3 no emite ninguna puntuación por caja, así que todas las detecciones reciben la misma confianza constante, y conf= solo descarta las filas por debajo de esa constante, no las ordena. iou descarta las cajas casi duplicadas de la misma clase por encima del solape indicado, un efecto secundario de que el decodificado voraz repita un objeto; no es una pasada de NMS por clases. Si te saltas set_classes(), el vocabulario cae por defecto en los nombres de COCO-80. Consulta predicción para fuentes, streaming y manejo de resultados.

Variantes

Tres tamaños: 1b, 2b y 8b, todos ellos checkpoints -hf nativos de OpenGVLab (un backbone de LLM Qwen, no la arquitectura de dos torres que describe el paper original de InternVL). El harness de benchmarks de LibreYOLO no ha medido esta familia, así que no hay cifras de precisión publicadas con las que compararlos; elige un tamaño según tu propio presupuesto de cómputo.

LibreYOLO expone esta familia solo para predicción. train(), val() y export() lanzan todos NotImplementedError: haz el fine-tuning upstream y carga el resultado, la validación sobre dataset se omite porque una confianza de marcador de posición haría engañoso el mAP de COCO, y la exportación queda fuera del alcance para un modelo generativo sin state dict que trazar.

Licencia

Cita

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}