InternVL3

Instalasi

InternVL3 memerlukan extra vlm, yang memasang transformers untuk backbone template chat.

pip install "libreyolo[vlm]"

Prediksi

LibreInternVL3 adalah kelas Python, bukan checkpoint .pt. Model ini tidak dimuat melalui factory LibreYOLO(), dan CLI libreyolo tidak dapat menentukannya. Factory LibreVLM(...) (from libreyolo import LibreVLM) juga dapat mencapai family ini berdasarkan alias, misalnya LibreVLM("internvl3-2b"). Kelas yang digunakan di bawah adalah objek yang dibangun factory tersebut. Bobot berasal dari repository Hugging Face -hf milik OpenGVLab sendiri, bukan cermin LibreYOLO. Panggilan pertama mengunduh dan menyimpannya dalam cache lokal, serta mencatat pemberitahuan lisensi satu kali untuk bobot Qwen yang dibatasi sebelum melakukannya.

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Vocabulary terbuka: kata apa pun dapat digunakan, bukan head kelas tetap. Persisten# pada setiap panggilan predict()/track() berikutnya sampai ditetapkan kembali.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Jalur langsung di bawah kemudahan deteksi: pertanyaan bebas,# penghitungan, atau prompt apa pun yang tidak dicakup wrapper box.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes memuat deteksi yang telah di-parse seperti family lain. Confidence merupakan placeholder. InternVL3 tidak menghasilkan skor per box, sehingga setiap deteksi memperoleh confidence konstan yang sama, dan conf= hanya membuang baris di bawah konstanta itu, bukan memberi peringkat. iou membuang box nyaris duplikat dari kelas yang sama di atas overlap tertentu, sebagai efek samping greedy decoding yang mengulang sebuah objek. Ini bukan proses NMS per kelas. Jika set_classes() dilewati, vocabulary memakai nama COCO-80 sebagai default. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.

Varian

Ada tiga ukuran: 1b, 2b, dan 8b. Semuanya adalah checkpoint -hf native milik OpenGVLab (backbone LLM Qwen, bukan arsitektur two-tower yang dijelaskan makalah InternVL asli). Harness benchmark LibreYOLO belum mengukur family ini, sehingga belum ada angka akurasi yang dipublikasikan sebagai pembanding. Pilih ukuran sesuai anggaran komputasi Anda.

LibreYOLO menyediakan family ini hanya untuk prediksi. train(), val(), dan export() semuanya memunculkan NotImplementedError. Lakukan fine-tuning di upstream dan muat hasilnya. Validasi dataset dilewati karena confidence placeholder akan membuat mAP COCO menyesatkan, sedangkan ekspor berada di luar cakupan model generatif tanpa state dict yang dapat di-trace.

Lisensi

Sitasi

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}