SenseNova-Vision

SenseNova-Vision 是一个统一多模态模型，它把视觉任务当成共享解码器上的提示驱动生成：检测框、点、关键点和 OCR 文字以带标签的文本输出，而深度图、掩码图和全景图以解码器渲染出的图像输出。LibreYOLO 通过 LibreVLM 加载它，用这一个 7B 检查点支持七种任务。

任务: detection, instance segmentation, panoptic, pose, point, depth, ocr
尺寸: 7b at 1024 px
安装: pip install libreyolo
支持层级: 兄弟层级，自 v 起。一个独立的产品面，有自己的工厂和契约。
上游: SenseNova-Vision，由 SenseTime (OpenSenseNova) 发布，采用 Apache-2.0 (code); CC BY-NC 4.0 (weights) 许可。论文、源码
许可: 代码采用 Apache-2.0，权重采用 Apache-2.0 (code); CC BY-NC 4.0 (weights)。商用

安装

SenseNova-Vision 需要自己的 extra，它会为这个检查点所需的大模型分发（dispatch）拉入 accelerate，并在非 macOS 平台上拉入用于 4-bit 加载的 bitsandbytes。

bash

pip install "libreyolo[sensenova]"

检查点镜像在 LibreYOLO 自己的 Hugging Face 组织下，首次使用时自动下载；它采用 CC-BY-NC-4.0 许可，仅限非商业用途，加载器在每一次自动下载之前都会打印这条提示。见下面的许可证一节。

预测

Python

from libreyolo import LibreVLM model = LibreVLM("sensenova-vision", task="detect")model.set_classes(["bird", "boat"])result = model.predict("image.jpg")print(result.boxes.xyxy) # set_task() 在同一个已加载的模型上切换任务model.set_task("depth")result = model.predict("image.jpg")depth = result.depth_map.data

指代分割与全景分割

from libreyolo import LibreVLM model = LibreVLM("sensenova-vision", task="segment")# 分割是指代式的：它需要一个目标短语，而不是一个类别列表model.set_classes(["the person furthest to the right"])result = model.predict("street.jpg")mask = result.masks.data[0] model.set_task("panoptic")# 没有设置自定义词汇表时，全景分割会回退到这个检查点调优时用的# COCO 全景类别result = model.predict("street.jpg")segment_map = result.panoptic.datafor segment in result.panoptic.segments_info:    print(segment)

点、姿态与 OCR

from libreyolo import LibreVLM model = LibreVLM("sensenova-vision", task="point")model.set_classes(["screw"])result = model.predict("board.jpg")print(result.points.xy) # 没有设置词汇表时，姿态会回退到 "person"model.set_task("pose")result = model.predict("gym.jpg")print(result.boxes.xyxy, result.keypoints.data.shape) model.set_task("ocr")result = model.predict("sign.jpg")print(result.ocr.texts)

每一次预测都是在共享的 Bagel-MoT 骨干上做一次扩散解码，所以它是一个能力型模型，而不是一个实时模型：单张图像的延迟会明显高于一个专门打造的检测器或分割器。dtype="auto"（默认值）会在显存足够的 GPU 上加载 bf16，其他情况下回退到 4-bit NF4 量化，那需要 bitsandbytes；传 dtype="bf16" 可以在足够大的 GPU 上强制使用全精度。构造时的 noise_seed=42 会给扩散采样器设置随机种子，让稠密输出可复现；传 noise_seed=None 可以关掉设种子。

七个任务共用一份已加载的检查点：set_task() 在它们之间切换，不需要重新加载。set_classes() 设置当前生效的词汇表；检测、点、姿态和全景分割接受一个类别列表，而分割是指代式的，需要的正是要分离出来的那个短语。每个任务都返回标准的 Results 对象，只是填充的载荷不同：detect 填 boxes，point 填 points，pose 填 boxes 和 keypoints，OCR 填 ocr，depth 填 depth_map，segment 填 masks，panoptic 填 panoptic（带 segments_info）。数据源、流式处理和结果处理见预测。

检查点

文件	输入（px）	权重许可
Detection
SenseNovaVision7b.pt	1024	cc-by-nc-4.0

上面的每个文件目前都在 LibreYOLO 组织中，并会在首次使用时下载。

许可证

请检查你所下载的具体权重在 Hugging Face 仓库中的许可。LibreYOLO 组织里的每个检查点都附有许可，同一家族内也不一定相同。该仓库是权威来源；以下摘要说明本页上次验证时适用的情况。

这里只说明涉及的许可证，不构成法律意见。如果答案对商用很重要，请自行阅读许可证并咨询法律顾问。

原始工作: SenseNova-Vision, SenseTime (OpenSenseNova)
上游许可: Apache-2.0 (code); CC BY-NC 4.0 (weights)
上游来源: github.com/OpenSenseNova/SenseNova-Vision
LibreYOLO 代码: MIT
权重: 采用 Apache-2.0 (code); CC BY-NC 4.0 (weights) 许可，重新发布在 huggingface.co/LibreYOLO
解读: LibreYOLO's SenseNova-Vision port is Apache-2.0 code adapted from SenseTime's OpenSenseNova/SenseNova-Vision release, which is itself built on Apache-2.0 sources: ByteDance's Bagel decoder, Hugging Face Transformers' Qwen2 and SigLIP modules, and Black Forest Labs' FLUX autoencoder. The SenseNova-Vision-7B-MoT checkpoint is a separate artifact under CC BY-NC 4.0, NON-COMMERCIAL USE ONLY. LibreYOLO mirrors it byte-identical, with attribution, at LibreYOLO/SenseNovaVision7b, but mirroring does not change the license: it stays non-commercial, and the loader prints that notice before every automatic download. One upstream file, modeling/bagel/modeling_utils.py, carries an incompatible CC BY-NC 4.0 license inherited from Meta's DiT; LibreYOLO did not port it. The small permissive routines it would have supplied were re-derived independently instead, from Hugging Face Transformers' ViTMAE implementation (Apache-2.0) and OpenAI's guided-diffusion (MIT).

引用

@misc{sensenova2026sensenovavision,
      title={Vision as Unified Multimodal Generation}, 
      author={Xiaoyang Han and Jianhua Li and Kewang Deng and Zukai Chen and Xuanke Shi and Sihan Wang and Boxuan Li and Linyan Wang and Siyi Xie and Xin You and Jinsheng Quan and Zhongang Cai and Haiwen Diao and Ziwei Liu and Lei Yang and Dahua Lin and Quan Wang},
      year={2026},
      eprint={2607.06560},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2607.06560}, 
}

复制自作者在 github.com/OpenSenseNova/SenseNova-Vision#citation 上提供的引用块。