Open Vision Banana
Open Vision Banana(OVB)出自 FunAILab,是在 FLUX.2 [klein] Base 上微调、用图像回答感知任务的模型。提示词指定任务,输出图像编码答案:分割是平涂的颜色,深度是灰度,表面法线是 RGB。同一套权重仍保留图像编辑和文生图能力。LibreYOLO 通过 LibreGen 工厂运行它的 4B 和 9B 版本。
- 任务
- image generation
- 尺寸
- 4b, 9b at 1024 px
- 安装
pip install "libreyolo[gen]"- 支持层级
- 兄弟层级,自 v1.8.0 起。一个独立的产品面,有自己的工厂和契约。
- 许可
- 代码采用 Apache-2.0,权重采用 FLUX Non-Commercial License。商用
安装
pip install "libreyolo[gen]"预测
镜像在首次使用时下载一次。LibreYOLO 用 diffusers 的 Flux2KleinPipeline 加载 OVB,
不添加任何网络代码:你要写的是提示词,以及几行把颜色读回来的 NumPy 代码。
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("open-vision-banana") # 4b;9b 用 "open-vision-banana-9b"DEPTH = ( "Estimate a dense relative inverse-depth map for the input image. Produce exactly one output value " "for every input pixel at the same pixel location, with closer points brighter and farther points " "darker. Encode the result as neutral grayscale (R=G=B) using one consistent mapping over the " "complete image. Preserve object silhouettes, thin structures, occlusion boundaries, smooth surfaces, " "and small depth changes. Do not alter the scene or add texture, shading, color, text, labels, " "legends, borders, or objects; return only the registered depth map.")result = model(DEPTH, source=SAMPLE_IMAGE, seed=0)result.generated.save("depth.png")rgb = result.generated.array # (H, W, 3) uint8import jsonfrom libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("open-vision-banana")legend = {"building": [255, 8, 232], "sky": [2, 204, 254], "water": [8, 4, 249]}prompt = ( "[TASK: SEMANTIC_SEGMENTATION] Generate a semantic segmentation visualization of the input image, " f"using this color mapping: {json.dumps(legend, separators=(', ', ': '))} " "Color each pixel of a listed class with its color and leave everything else black. " "Output only the segmentation visualization image.")model(prompt, source=SAMPLE_IMAGE, seed=0).generated.save("segmentation.png")from libreyolo import LibreGen model = LibreGen("open-vision-banana")model("an empty tram at a cobblestone stop on a rainy night", imgsz=1024, seed=0).generated.save("tram.png")# CLI 只支持文生图libreyolo generate model=open-vision-banana prompt="an empty tram at a cobblestone stop on a rainy night"source 接受路径、URL、PIL.Image 或 BGR NumPy 数组。输出保持照片的宽高比,上限
为一百万像素;读取之前先把它缩放回照片尺寸(掩码用最近邻插值,这样颜色保持精确)。
不传 source 时,它就是一个普通的文生图模型。可调参数:steps(28)和
guidance(3.5),即论文里的设置。offload=True 会把闲置部分移出 GPU。
这个模型在每个任务的多种表述上训练过。库里的 Open Vision Banana 指南 收录了 FunAILab 的快速上手提示词和读出方法,涵盖语义分割、指代分割和实例分割、深度、 表面法线和图像编辑,还有图例集成(用打乱的颜色跑几遍,再逐像素投票)。
预期效果:每个答案都是一次 28 步的扩散过程,所以很慢。当一个模型覆盖多个任务比速度 更重要时再用它。缩放后掩码的边缘是软的,并略有偏移;深度是相对逆深度,尺度和偏移 未知,法线是平滑的,但不是度量意义上的。
变体
| 尺寸 | 别名 | 镜像 | 文本编码器 | GPU 显存(库给出的数字) |
|---|---|---|---|---|
4b | open-vision-banana | LibreYOLO/LibreOpenVisionBanana4b | Qwen3 4B | 约 16 GB |
9b | open-vision-banana-9b | LibreYOLO/LibreOpenVisionBanana9b | Qwen3 8B | 约 34 GB |
两个镜像存放的都是论文里的非零样本检查点(checkpoint),用基准测试的训练划分训练。
其他以 diffusers 流水线形式保存的 OVB 检查点(即零样本的那些)可以用
LibreGen("open-vision-banana", checkpoint_dir="path/to/folder") 加载。
导出
| 任务 | ONNX | TorchScript | ExecuTorch | TensorRT | OpenVINO | Paddle | MNN | RKNN | Axelera | ncnn | TFLite | CoreML | Core AI |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Image generation | Image generation to ONNX:不支持 | Image generation to TorchScript:不支持 | Image generation to ExecuTorch:不支持 | Image generation to TensorRT:不支持 | Image generation to OpenVINO:不支持 | Image generation to Paddle:不支持 | Image generation to MNN:不支持 | Image generation to RKNN:不支持 | Image generation to Axelera:不支持 | Image generation to ncnn:不支持 | Image generation to TFLite:不支持 | Image generation to CoreML:不支持 | Image generation to Core AI:不支持 |
不支持训练、导出和 val()。
许可证
请检查你所下载的具体权重在 Hugging Face 仓库中的许可。LibreYOLO 组织里的每个检查点都附有许可,同一家族内也不一定相同。该仓库是权威来源;以下摘要说明本页上次验证时适用的情况。
这里只说明涉及的许可证,不构成法律意见。如果答案对商用很重要,请自行阅读许可证并咨询法律顾问。
- 原始工作
- Open Vision Banana, FunAILab
- 上游许可
- FLUX Non-Commercial License
- LibreYOLO 代码
- MIT
- 权重
- 采用 FLUX Non-Commercial License 许可,重新发布在 huggingface.co/LibreYOLO
- 解读
- The Open Vision Banana weights are fine-tunes of FLUX.2 [klein] Base 4B and 9B and are under Black Forest Labs' FLUX Non-Commercial License, a custom agreement that is not OSI-approved: no commercial or production use. Section 2(e) of that license asks for content filtering or human review of generated images before they are shared, and the same terms apply to the outputs. FunAILab's training code on GitHub is Apache-2.0, but LibreYOLO ports none of it: its adapter is its own MIT code that calls the Apache-2.0 diffusers Flux2KleinPipeline. LibreYOLO redistributes the paper's non-zero-shot checkpoints as complete pipelines at LibreYOLO/LibreOpenVisionBanana4b and LibreYOLO/LibreOpenVisionBanana9b, with FunAILab's transformer cast from float32 to bfloat16 (from FunAILab/Open-Vision-Banana at revision be5da66250cc385ff9c75ebbe4114e13ec305848) and Black Forest Labs' scheduler, Qwen3 text encoder, tokenizer and VAE byte-identical; the mirrors carry the license and are not gated. The zero-shot checkpoints and LoRA adapters stay on FunAILab's repository, under the same license.
Open Vision Banana 出自 FunAILab (OpenVisionBanana/OpenVisionBanana)。 权重采用 Black Forest Labs 的 FLUX Non-Commercial License:不得用于商业或生产 用途,第 2(e) 条要求在分享生成图像之前进行内容过滤或人工审核。FunAILab 的训练代码 采用 Apache-2.0 许可,但 LibreYOLO 没有移植其中任何部分。
LibreYOLO 的镜像是完整的 diffusers 流水线,不需要申请访问:FunAILab 的 transformer 从 float32 转换为 bfloat16,即它运行时的精度,BFL 的 FLUX.2 [klein] Base 流水线其余 部分逐字节一致。在相同 seed 下,输出与 FunAILab 自己的快速上手示例逐位一致。
引用
@misc{jadon2026openvisionbananafully,
title={Open Vision Banana: A Fully Open Recipe for Generative Visual Perception},
author={Arpit Jadon and Valentinos Pariza and Jona Ruthardt and Ryousuke Yamada and A. Sophia Koepke and Andrei Bursuc and Yuki M. Asano},
year={2026},
eprint={2611.15844},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2611.15844},
}复制自作者在 github.com/OpenVisionBanana/OpenVisionBanana#-citation 上提供的引用块。