InternVL3

Instalacja

InternVL3 wymaga dodatku vlm, który instaluje transformers dla backbone z szablonem czatu.

pip install "libreyolo[vlm]"

Predykcja

LibreInternVL3 jest klasą Pythona, a nie checkpointem .pt. Nie jest wczytywany przez fabrykę LibreYOLO(), a CLI libreyolo go nie rozpoznaje. Fabryka LibreVLM(...) (from libreyolo import LibreVLM) także udostępnia tę rodzinę przez alias, na przykład LibreVLM("internvl3-2b"). Użyta poniżej klasa jest tym, co tworzy ta fabryka. Wagi pochodzą z własnych repozytoriów -hf OpenGVLab na Hugging Face, a nie z kopii lustrzanej LibreYOLO. Pierwsze wywołanie pobiera je i zapisuje lokalnie w pamięci podręcznej, uprzednio jednorazowo wypisując informację o licencji kontrolowanych wag Qwen.

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Otwarty słownik: działają dowolne słowa, a nie stała głowica klas. Ustawienie# obowiązuje w każdym późniejszym wywołaniu predict()/track(), dopóki nie zostanie zmienione.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Bezpośredni dostęp pod wygodną warstwą detekcji: swobodne pytania,# zliczanie lub dowolny prompt nieobsługiwany przez wrapper ramek.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes zawiera przetworzone detekcje tak jak w każdej innej rodzinie. Pewność jest wartością zastępczą. InternVL3 nie zwraca wyniku dla poszczególnych ramek, dlatego każda detekcja otrzymuje tę samą stałą pewność, a conf= jedynie odrzuca wiersze poniżej tej stałej, bez ich klasyfikowania. iou odrzuca prawie identyczne ramki tej samej klasy powyżej podanego nakładania, będące skutkiem powtarzania obiektu przez zachłanne dekodowanie. Nie jest to etap NMS osobny dla każdej klasy. Pominięcie set_classes() pozostawia domyślne nazwy COCO-80. Więcej informacji o źródłach, streamingu i obsłudze wyników zawiera strona predykcji.

Warianty

Dostępne są trzy rozmiary, 1b, 2b i 8b, wszystkie jako natywne checkpointy -hf OpenGVLab z backbone LLM Qwen, a nie dwuwieżową architekturą opisaną w oryginalnej publikacji InternVL. Zestaw testowy LibreYOLO nie wykonał pomiarów tej rodziny, dlatego nie ma opublikowanych wyników dokładności do ich porównania. Rozmiar należy dobrać do własnego budżetu obliczeniowego.

LibreYOLO udostępnia tę rodzinę wyłącznie do predykcji. train(), val() i export() zawsze zgłaszają NotImplementedError. Model należy dostroić w projekcie źródłowym i wczytać wynik. Walidacja zbioru danych jest pomijana, ponieważ zastępcza pewność nadawałaby metryce COCO mAP mylący charakter, a eksport pozostaje poza zakresem modelu generatywnego bez state dict możliwego do śledzenia.

Licencja

Cytowanie

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}