InternVL3

Installation

InternVL3 benötigt das Extra vlm, das transformers für das Chat-Template-Backbone mitinstalliert.

pip install "libreyolo[vlm]"

Vorhersage

LibreInternVL3 ist eine Python-Klasse und kein .pt-Checkpoint. Sie wird nicht über die Factory LibreYOLO() geladen und von der libreyolo-CLI nicht aufgelöst. Die Factory LibreVLM(...) (from libreyolo import LibreVLM) erreicht diese Familie ebenfalls über einen Alias, zum Beispiel mit LibreVLM("internvl3-2b"). Sie erstellt die nachfolgend verwendete Klasse. Die Gewichte stammen aus den eigenen -hf-Repositorys von OpenGVLab auf Hugging Face und nicht aus einem LibreYOLO-Spiegel. Beim ersten Aufruf werden sie heruntergeladen und lokal zwischengespeichert. Zuvor wird einmalig ein Lizenzhinweis zu den zugangsbeschränkten Qwen-Gewichten protokolliert.

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Offenes Vokabular: beliebige Wörter statt eines festen Klassen-Heads.# Gilt für alle späteren predict()/track()-Aufrufe bis zur Neubelegung.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Der Ausweg unterhalb der komfortablen Erkennung: freie Fragen,# Zählaufgaben oder Prompts, die der Boxen-Wrapper nicht abdeckt.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes enthält wie bei jeder anderen Familie die geparsten Erkennungen. Die Confidence ist ein Platzhalter: InternVL3 gibt keinen Score pro Box aus. Deshalb erhält jede Erkennung denselben konstanten Confidence-Wert, und conf= verwirft lediglich Zeilen unterhalb dieser Konstante, ohne sie zu ordnen. iou verwirft nahezu identische Boxen derselben Klasse oberhalb der angegebenen Überlappung. Solche Wiederholungen entstehen als Nebeneffekt des Greedy Decoding. Dies ist kein klassenweiser NMS-Durchlauf. Ohne set_classes() verwendet das Vokabular standardmäßig die COCO-80-Namen. Unter Vorhersage findest du Informationen zu Quellen, Streaming und Ergebnisverarbeitung.

Varianten

Es gibt drei Größen: 1b, 2b und 8b. Alle sind native -hf-Checkpoints von OpenGVLab mit einem Qwen-LLM-Backbone und nicht mit der Zwei-Turm-Architektur, die im ursprünglichen InternVL-Paper beschrieben wird. Der Benchmark-Harness von LibreYOLO hat diese Familie noch nicht vermessen. Daher gibt es keine veröffentlichten Accuracy-Werte für einen Vergleich. Wähle eine Größe passend zu deinem eigenen Rechenbudget.

LibreYOLO stellt diese Familie ausschließlich für Vorhersagen bereit. train(), val() und export() lösen jeweils NotImplementedError aus: Führe das Fine-Tuning im Upstream-Projekt durch und lade stattdessen das Ergebnis. Die Datensatzvalidierung wird übersprungen, weil eine Platzhalter-Confidence die COCO-mAP irreführend machen würde. Der Export liegt bei einem generativen Modell ohne nachverfolgbares State Dict außerhalb des Funktionsumfangs.

Lizenzierung

Zitieren

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}