InternVL3

Встановлення

InternVL3 потребує додаткового набору залежностей vlm, який установлює transformers для бекбона із шаблоном чату.

pip install "libreyolo[vlm]"

Передбачення

LibreInternVL3 є класом Python, а не контрольною точкою .pt: він не завантажується через фабрику LibreYOLO(), і CLI libreyolo його не розпізнає. Фабрика LibreVLM(...) (from libreyolo import LibreVLM) також відкриває доступ до цього сімейства за псевдонімом, наприклад LibreVLM("internvl3-2b"); використаний нижче клас є тим, що вона створює. Ваги надходять із власних репозиторіїв OpenGVLab із суфіксом -hf на Hugging Face, а не із дзеркала LibreYOLO. Перший виклик завантажує й кешує їх локально та перед цим одноразово записує повідомлення про ліцензію закритих ваг Qwen.

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Відкритий словник: працюють будь-які слова, а не фіксована голова класів.# Зберігається для всіх наступних викликів predict()/track(), доки його не змінено.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Прямий доступ під зручним інтерфейсом виявлення: довільні запитання,# підрахунок або будь-який запит, якого не охоплює обгортка рамок.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes містить розібрані виявлення, як і для будь-якого іншого сімейства. Оцінка впевненості є службовою: InternVL3 не виводить оцінок для окремих рамок, тому кожне виявлення отримує однакову сталу впевненість, а conf= лише відкидає рядки нижче цієї сталої, не ранжуючи їх. iou відкидає майже однакові рамки того самого класу, перекриття яких перевищує задане значення. Такі рамки виникають як побічний ефект повторення об'єкта під час жадібного декодування; це не покласовий прохід NMS. Якщо пропустити set_classes(), словник типово містить назви COCO-80. Типи джерел, потокове передбачення та обробку результатів описано в розділі передбачення.

Варіанти

Доступні три розміри: 1b, 2b і 8b. Усі є нативними контрольними точками OpenGVLab із суфіксом -hf та бекбоном LLM Qwen, а не двовежовою архітектурою з початкової статті InternVL. Засоби бенчмарків LibreYOLO не вимірювали це сімейство, тому опублікованих показників правильності для їх порівняння немає. Вибирайте розмір відповідно до власного бюджету обчислень.

LibreYOLO надає це сімейство лише для передбачення. train(), val() і export() спричиняють NotImplementedError: донавчіть модель засобами початкового проєкту й завантажте результат; валідація датасету пропускається, оскільки службова впевненість зробила б mAP COCO оманливою; експорт не охоплюється для генеративної моделі без словника стану, який можна трасувати.

Ліцензування

Цитування

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}