InternVL3

Installation

InternVL3 a besoin de l'extra vlm, qui embarque transformers pour le backbone de chat-template.

pip install "libreyolo[vlm]"

Prédire

LibreInternVL3 est une classe Python, pas un checkpoint .pt : elle ne se charge pas via la factory LibreYOLO(), et la CLI libreyolo ne la résout pas. La factory LibreVLM(...) (from libreyolo import LibreVLM) atteint elle aussi cette famille par alias, par exemple LibreVLM("internvl3-2b") ; la classe utilisée ci-dessous est celle qu'elle construit. Les poids viennent des dépôts Hugging Face -hf d'OpenGVLab, pas d'un miroir LibreYOLO ; le premier appel les télécharge et les met en cache localement, après avoir journalisé un avis de licence unique pour les poids Qwen, dont l'accès est restreint.

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Vocabulaire ouvert, n'importe quels mots, pas de tête de classes# fixe. Persiste sur chaque predict()/track() jusqu'au prochain appel.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # La porte de sortie sous la couche de détection, pour les questions# libres, le comptage, ou tout prompt que le wrapper boxes ignore.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes porte les détections parsées comme dans n'importe quelle autre famille. La confiance est une valeur de remplissage : InternVL3 n'émet aucun score par boîte, donc chaque détection reçoit la même confiance constante, et conf= ne fait qu'écarter les lignes situées sous cette constante, il ne les classe pas. iou élimine les boîtes quasi dupliquées de la même classe au-dessus du recouvrement indiqué, un effet de bord du décodage glouton qui répète un objet ; ce n'est pas une passe de NMS par classe. Sautez set_classes() et le vocabulaire retombe sur les noms COCO-80. Voir la prédiction pour les sources, le streaming et le traitement des résultats.

Variantes

Trois tailles : 1b, 2b et 8b, toutes des checkpoints -hf natifs d'OpenGVLab (un backbone LLM Qwen, et non l'architecture à deux tours que décrit l'article original d'InternVL). Le harness de benchmarks de LibreYOLO n'a pas mesuré cette famille, il n'y a donc pas de chiffres d'exactitude publiés pour les comparer ; choisissez une taille en fonction de votre propre budget de calcul.

LibreYOLO n'expose cette famille que pour la prédiction. train(), val() et export() lèvent tous NotImplementedError : faites le fine-tuning en amont et chargez le résultat, la validation sur dataset est ignorée parce qu'une confiance de remplissage rendrait le mAP COCO trompeur, et l'export sort du périmètre pour un modèle génératif sans state dict à tracer.

Licence

Citation

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}