InternVL3

Установка

InternVL3 нужен extra vlm, который подтягивает transformers для бэкбона с шаблонами чата.

pip install "libreyolo[vlm]"

Предсказание

LibreInternVL3 — класс Python, а не чекпойнт .pt: он не загружается через фабрику LibreYOLO(), и CLI libreyolo его не разрешает. Фабрика LibreVLM(...) (from libreyolo import LibreVLM) тоже добирается до этого семейства по алиасу, например LibreVLM("internvl3-2b"); класс, который используется ниже, — это то, что она конструирует. Веса берутся из собственных -hf репозиториев OpenGVLab на Hugging Face, а не из зеркала LibreYOLO; при первом вызове они скачиваются и кэшируются локально, а перед этим в лог один раз пишется уведомление о лицензии для весов Qwen с ограниченным доступом.

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Открытый словарь: любые слова, а не фиксированная голова классов.# Действует во всех последующих predict()/track(), пока не задать заново.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreInternVL3, SAMPLE_IMAGE model = LibreInternVL3(size="2b") # Запасной ход под удобной обёрткой детекции: свободные вопросы,# подсчёт объектов или любой промпт, который обёртка рамок не покрывает.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes несёт разобранные детекции, как и в любом другом семействе. Уверенность здесь — заглушка: InternVL3 не выдаёт оценку для каждой рамки, поэтому все детекции получают одну и ту же константу, а conf= только отбрасывает строки ниже этой константы и не ранжирует их. iou отбрасывает почти дублирующиеся рамки одного класса выше заданного перекрытия — побочный эффект того, что жадное декодирование повторяет объект; это не проход NMS по классам. Если пропустить set_classes(), словарь по умолчанию берёт имена COCO-80. Про источники, стриминг и обработку результатов см. предсказание.

Варианты

Три размера: 1b, 2b и 8b — все нативные -hf чекпойнты OpenGVLab (бэкбон на LLM Qwen, а не двухбашенная архитектура, которую описывает оригинальная статья про InternVL). Бенчмарк-стенд LibreYOLO это семейство не измерял, поэтому опубликованных цифр точности для их сравнения нет; выбирайте размер под свой бюджет вычислений.

LibreYOLO открывает это семейство только для предсказания. train(), val() и export() бросают NotImplementedError: дообучайте upstream и загружайте результат, валидация на датасете пропущена, потому что уверенность-заглушка сделала бы COCO mAP обманчивым, а экспорт вне области применения для генеративной модели, у которой нет state dict для трассировки.

Лицензирование

Цитирование

@article{zhu2025internvl3,
  title={Internvl3: Exploring advanced training and test-time recipes for open-source multimodal models},
  author={Zhu, Jinguo and Wang, Weiyun and Chen, Zhe and Liu, Zhaoyang and Ye, Shenglong and Gu, Lixin and Tian, Hao and Duan, Yuchen and Su, Weijie and Shao, Jie and others},
  journal={arXiv preprint arXiv:2504.10479},
  year={2025}
}