InternVL3

InternVL3はOpenGVLabが公開したネイティブなマルチモーダル大規模言語モデルであり、1段階の事前学習で視覚と言語を共同学習します。LibreYOLOはこれをオープンボキャブラリ物体検出器としてラップします。任意のテキストラベル一覧がクラス集合になり、固定ヘッドもファインチューニングも不要です。

タスク: detection
サイズ: 1b, 2b, 8b at 448 px
インストール: pip install libreyolo
サポートティア: 姉妹ティア、v以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
アップストリーム: Shanghai AI Laboratory (OpenGVLab)のInternVL3、MIT (code); Qwen License (weights)。論文、ソース
ライセンス: コード：MIT、重み：MIT (code); Qwen License (weights)。商用利用

インストール

InternVL3には vlm 追加パッケージが必要です。このパッケージはチャットテンプレートのバックボーン用に transformers を導入します。

bash

pip install "libreyolo[vlm]"

推論

LibreInternVL3 は .pt チェックポイントではなくPythonクラスです。LibreYOLO() ファクトリーから読み込むことはできず、libreyolo CLIもこれを解決しません。LibreVLM(...) ファクトリー（from libreyolo import LibreVLM）も、たとえば LibreVLM("internvl3-2b") という別名でこのファミリーに到達できます。これは下で使用するクラスを構築します。重みはLibreYOLOのミラーではなく、OpenGVLab独自の -hf Hugging Faceリポジトリから取得します。最初の呼び出しでダウンロードしてローカルにキャッシュし、その前に制限付きQwenの重みに関するライセンス通知を1回だけ記録します。

Python

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # オープンボキャブラリ 固定クラスヘッドではなく任意の単語を使用可能# 再設定するまでその後のすべてのpredict()/track()呼び出しで維持model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

未処理のチャット

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # 検出用の簡易機能の下にある脱出口 自由形式の質問や数え上げなど# ボックスラッパーが扱わない任意のプロンプトに対応text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes には他のファミリーと同様に解析済みの検出結果が含まれます。信頼度は仮の値です。InternVL3はボックスごとのスコアを出力しないため、すべての検出結果に同じ固定信頼度が設定されます。conf= はその固定値未満の行を除外するだけで、順位付けには使用できません。iou は、指定した重なりを超える同じクラスのほぼ重複したボックスを除外します。これは貪欲デコードが物体を繰り返すことによる副作用であり、クラス単位のNMS処理ではありません。set_classes() を省略すると、ボキャブラリのデフォルトはCOCO-80の名前になります。ソース、ストリーミング、結果の処理については、推論を参照してください。

バリアント

サイズは1b、2b、8bの3つで、すべてOpenGVLabのネイティブな -hf チェックポイントです。元のInternVL論文で説明された2タワーアーキテクチャではなく、Qwen LLMバックボーンを使用します。LibreYOLOのベンチマークハーネスはこのファミリーを測定していないため、比較できる公開精度値はありません。利用可能な計算資源に合わせてサイズを選択してください。

LibreYOLOはこのファミリーを推論専用として公開します。train()、val()、export() はすべて NotImplementedError を発生させます。代わりにアップストリームでファインチューニングし、その結果を読み込んでください。仮信頼度ではCOCO mAPが誤解を招くため、データセット検証は省略されています。また、トレースする状態辞書を持たない生成モデルのエクスポートは対象外です。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物: InternVL3, Shanghai AI Laboratory (OpenGVLab)
アップストリームのライセンス: MIT (code); Qwen License (weights)
アップストリームのソース: github.com/OpenGVLab/InternVL
LibreYOLOのコード: MIT
重み: MIT (code); Qwen License (weights)、著者が配布。LibreYOLOではホストもミラーもしていません。
解釈: InternVL3's own code is MIT, permissive and usable in commercial and closed-source products. The `-hf` checkpoints this family loads carry a Qwen LLM backbone and are licensed separately, under Alibaba Cloud's Qwen License: free to use, modify and redistribute with a "Built with Qwen" or "Improved using Qwen" attribution requirement, and a 100 million monthly-active-user ceiling on commercial use above which Alibaba's own authorization is required. LibreYOLO does not host or redistribute these weights: LibreInternVL3 downloads the matching size directly from OpenGVLab/InternVL3-<size>-hf on Hugging Face the first time it runs, and logs a one-time notice for the Qwen License before that download.

InternVL3独自のコードはMITであり、寛容なライセンスの下で商用製品やクローズドソース製品に使用できます。このファミリーが読み込む -hf チェックポイントにはQwen LLMバックボーンが含まれ、Alibaba CloudのQwen Licenseに基づいて別途ライセンスされます。使用、変更、再配布は自由ですが、「Built with Qwen」または「Improved using Qwen」という帰属表示が必要です。また、商用利用には月間アクティブユーザー1億人の上限があり、それを超える場合はAlibaba独自の許可が必要です。LibreYOLOはこれらの重みをホストまたは再配布しません。LibreInternVL3 は初回実行時に、Hugging Faceの OpenGVLab/InternVL3-<size>-hf から対応するサイズを直接ダウンロードし、その前にQwen Licenseに関する通知を1回だけ記録します。

引用

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}

著者によるgithub.com/OpenGVLab/InternVL#citationの引用ブロックからコピーしています。