SenseNova-Vision

Installer

SenseNova-Vision nécessite son propre extra. Celui-ci installe accelerate pour la répartition des grands modèles dont ce checkpoint a besoin et, sur les plateformes autres que macOS, bitsandbytes pour le chargement en 4 bits.

pip install "libreyolo[sensenova]"

Le checkpoint est répliqué sur Hugging Face sous l'organisation propre à LibreYOLO et se télécharge automatiquement à la première utilisation. Il est sous licence CC BY-NC 4.0, réservée à un usage non commercial, et le chargeur affiche cet avertissement avant chaque téléchargement automatique. Consultez la section Licence ci-dessous.

Prédire

from libreyolo import LibreVLM model = LibreVLM("sensenova-vision", task="detect")model.set_classes(["bird", "boat"])result = model.predict("image.jpg")print(result.boxes.xyxy) # set_task() change de tâche sur le même modèle déjà chargé.model.set_task("depth")result = model.predict("image.jpg")depth = result.depth_map.data

from libreyolo import LibreVLM model = LibreVLM("sensenova-vision", task="segment")# La segmentation suit une expression référente : elle exige une phrase cible, pas une liste de classes.model.set_classes(["the person furthest to the right"])result = model.predict("street.jpg")mask = result.masks.data[0] model.set_task("panoptic")# Sans vocabulaire personnalisé, la segmentation panoptique utilise les catégories# panoptiques COCO sur lesquelles le checkpoint a été affiné.result = model.predict("street.jpg")segment_map = result.panoptic.datafor segment in result.panoptic.segments_info:    print(segment)

from libreyolo import LibreVLM model = LibreVLM("sensenova-vision", task="point")model.set_classes(["screw"])result = model.predict("board.jpg")print(result.points.xy) # Sans vocabulaire défini, la pose utilise "person" par défaut.model.set_task("pose")result = model.predict("gym.jpg")print(result.boxes.xyxy, result.keypoints.data.shape) model.set_task("ocr")result = model.predict("sign.jpg")print(result.ocr.texts)

Chaque prédiction est un décodage par diffusion sur le backbone Bagel-MoT partagé. Il s'agit donc d'un modèle de capacités et non d'un modèle temps réel\u00a0: attendez-vous à une latence par image nettement supérieure à celle d'un détecteur ou segmenteur spécialisé. dtype="auto" (la valeur par défaut) charge le modèle en bf16 sur un GPU disposant de suffisamment de mémoire et se rabat ailleurs sur une quantification NF4 en 4 bits, qui nécessite bitsandbytes\u00a0; transmettez dtype="bf16" pour imposer la pleine précision sur un GPU suffisamment grand. Le paramètre noise_seed=42 à la construction initialise le sampler de diffusion afin de rendre les sorties denses reproductibles\u00a0; transmettez noise_seed=None pour désactiver cette initialisation.

Les sept tâches partagent un seul checkpoint chargé\u00a0: set_task() passe de l'une à l'autre sans rechargement. set_classes() définit le vocabulaire actif\u00a0; la détection, les points, la pose et la segmentation panoptique acceptent une liste de classes, tandis que la segmentation suit une expression référente et exige exactement la phrase désignant l'élément à isoler. Chaque tâche renvoie l'objet Results standard avec une charge utile différente\u00a0: boxes pour detect, points pour point, boxes et keypoints pour pose, ocr pour OCR, depth_map pour depth, masks pour segment et panoptic (avec segments_info) pour panoptic. Consultez la prédiction pour les sources, le streaming et la gestion des résultats.

Checkpoints

Licence

Citation

@misc{sensenova2026sensenovavision,
      title={Vision as Unified Multimodal Generation}, 
      author={Xiaoyang Han and Jianhua Li and Kewang Deng and Zukai Chen and Xuanke Shi and Sihan Wang and Boxuan Li and Linyan Wang and Siyi Xie and Xin You and Jinsheng Quan and Zhongang Cai and Haiwen Diao and Ziwei Liu and Lei Yang and Dahua Lin and Quan Wang},
      year={2026},
      eprint={2607.06560},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2607.06560}, 
}