Markdownで表示

Open Vision Banana

Open Vision Banana(OVB)は、FunAILabがFLUX.2 [klein] Baseを知覚タスクに画像で答えるようにファインチューニングしたモデルです。プロンプトがタスクを指定し、出力画像が答えを表します。セグメンテーションは平坦な色、深度はグレー、表面法線はRGBです。同じ重みで画像編集とテキストからの画像生成も維持しています。LibreYOLOはLibreGenファクトリーを通じて4Bと9Bで実行します。

タスク
image generation
サイズ
4b, 9b at 1024 px
インストール
pip install "libreyolo[gen]"
サポートティア
姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
アップストリーム
FunAILabのOpen Vision Banana、FLUX Non-Commercial License。論文、ソース
ライセンス
コード:Apache-2.0、重み:FLUX Non-Commercial License。商用利用

インストール

bash
pip install "libreyolo[gen]"

推論

ミラーは初回使用時に一度だけダウンロードされます。LibreYOLOはdiffusersのFlux2KleinPipelineでOVBを読み込み、ネットワークのコードは追加しません。書くのはプロンプトと、色を読み戻すための数行のNumPyだけです。

深度
from libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("open-vision-banana")      # 4b、9bは"open-vision-banana-9b"DEPTH = (    "Estimate a dense relative inverse-depth map for the input image. Produce exactly one output value "    "for every input pixel at the same pixel location, with closer points brighter and farther points "    "darker. Encode the result as neutral grayscale (R=G=B) using one consistent mapping over the "    "complete image. Preserve object silhouettes, thin structures, occlusion boundaries, smooth surfaces, "    "and small depth changes. Do not alter the scene or add texture, shading, color, text, labels, "    "legends, borders, or objects; return only the registered depth map.")result = model(DEPTH, source=SAMPLE_IMAGE, seed=0)result.generated.save("depth.png")rgb = result.generated.array                # (H, W, 3) uint8
セマンティックセグメンテーション
import jsonfrom libreyolo import LibreGen, SAMPLE_IMAGE model = LibreGen("open-vision-banana")legend = {"building": [255, 8, 232], "sky": [2, 204, 254], "water": [8, 4, 249]}prompt = (    "[TASK: SEMANTIC_SEGMENTATION] Generate a semantic segmentation visualization of the input image, "    f"using this color mapping: {json.dumps(legend, separators=(', ', ': '))} "    "Color each pixel of a listed class with its color and leave everything else black. "    "Output only the segmentation visualization image.")model(prompt, source=SAMPLE_IMAGE, seed=0).generated.save("segmentation.png")
テキストから画像
from libreyolo import LibreGen model = LibreGen("open-vision-banana")model("an empty tram at a cobblestone stop on a rainy night", imgsz=1024, seed=0).generated.save("tram.png")
CLI
# CLIはテキストからの画像生成のみに対応libreyolo generate model=open-vision-banana prompt="an empty tram at a cobblestone stop on a rainy night"

sourceにはパス、URL、PIL.Image、BGRのNumPy配列を指定できます。出力は写真のアスペクト比を維持し、上限は1メガピクセルです。読み取る前に写真のサイズへリサイズし直してください(マスクは色を正確に保つため最近傍補間を使います)。sourceを指定しなければ、通常のテキストから画像を生成するモデルになります。調整項目は論文の設定であるsteps(28)とguidance(3.5)です。offload=Trueを指定すると、使っていない部分をGPUから退避させます。

このモデルは各タスクについて多くの言い回しで学習されています。ライブラリのOpen Vision Bananaガイドには、セマンティック・参照・インスタンスセグメンテーション、深度、表面法線、画像編集についてのFunAILabのクイックスタートのプロンプトと読み取り方法、さらに凡例のアンサンブル(色をシャッフルした複数回の実行とピクセルごとの投票)が載っています。

想定される挙動:すべての答えが28ステップの拡散処理であるため、低速です。速度よりも1つのモデルで多くのタスクをこなすことが重要な場合に使ってください。マスクはリサイズ後に柔らかく、わずかにずれた輪郭になります。深度は未知のスケールとシフトを持つ相対逆深度で、法線は滑らかですがメートル単位ではありません。

バリアント

サイズエイリアスミラーテキストエンコーダーGPUメモリ(ライブラリの数値)
4bopen-vision-bananaLibreYOLO/LibreOpenVisionBanana4bQwen3 4B約16 GB
9bopen-vision-banana-9bLibreYOLO/LibreOpenVisionBanana9bQwen3 8B約34 GB

どちらのミラーも、ベンチマークの学習分割で学習した論文の非ゼロショットのチェックポイントを保持しています。diffusersのパイプラインとして保存された別のOVBチェックポイント(ゼロショットのもの)は、LibreGen("open-vision-banana", checkpoint_dir="path/to/folder")で読み込めます。

エクスポート

タスクONNXTorchScriptExecuTorchTensorRTOpenVINOPaddleMNNRKNNAxelerancnnTFLiteCoreMLCore AI
Image generationImage generation to ONNX:非対応Image generation to TorchScript:非対応Image generation to ExecuTorch:非対応Image generation to TensorRT:非対応Image generation to OpenVINO:非対応Image generation to Paddle:非対応Image generation to MNN:非対応Image generation to RKNN:非対応Image generation to Axelera:非対応Image generation to ncnn:非対応Image generation to TFLite:非対応Image generation to CoreML:非対応Image generation to Core AI:非対応

学習、エクスポート、val()には対応していません。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
Open Vision Banana, FunAILab
アップストリームのライセンス
FLUX Non-Commercial License
アップストリームのソース
github.com/OpenVisionBanana/OpenVisionBanana
LibreYOLOのコード
MIT
重み
FLUX Non-Commercial License、huggingface.co/LibreYOLOで再公開
解釈
The Open Vision Banana weights are fine-tunes of FLUX.2 [klein] Base 4B and 9B and are under Black Forest Labs' FLUX Non-Commercial License, a custom agreement that is not OSI-approved: no commercial or production use. Section 2(e) of that license asks for content filtering or human review of generated images before they are shared, and the same terms apply to the outputs. FunAILab's training code on GitHub is Apache-2.0, but LibreYOLO ports none of it: its adapter is its own MIT code that calls the Apache-2.0 diffusers Flux2KleinPipeline. LibreYOLO redistributes the paper's non-zero-shot checkpoints as complete pipelines at LibreYOLO/LibreOpenVisionBanana4b and LibreYOLO/LibreOpenVisionBanana9b, with FunAILab's transformer cast from float32 to bfloat16 (from FunAILab/Open-Vision-Banana at revision be5da66250cc385ff9c75ebbe4114e13ec305848) and Black Forest Labs' scheduler, Qwen3 text encoder, tokenizer and VAE byte-identical; the mirrors carry the license and are not gated. The zero-shot checkpoints and LoRA adapters stay on FunAILab's repository, under the same license.

Open Vision BananaはFunAILabによるものです(OpenVisionBanana/OpenVisionBanana)。重みはBlack Forest LabsのFLUX Non-Commercial Licenseの下にあります。商用利用や本番利用はできず、第2条(e)は生成画像を共有する前にコンテンツフィルタリングまたは人によるレビューを求めています。FunAILabの学習コードはApache-2.0ですが、LibreYOLOはそのいずれも移植していません。

LibreYOLOのミラーは完全なdiffusersのパイプラインで、ゲートされていません。FunAILabのTransformerは、実行時の精度であるbfloat16へfloat32からキャストしており、BFLのFLUX.2 [klein] Baseパイプラインの残りはバイト単位で同一です。出力は、同じシードでFunAILab自身のクイックスタートとビット単位で一致します。

引用

@misc{jadon2026openvisionbananafully,
      title={Open Vision Banana: A Fully Open Recipe for Generative Visual Perception},
      author={Arpit Jadon and Valentinos Pariza and Jona Ruthardt and Ryousuke Yamada and A. Sophia Koepke and Andrei Bursuc and Yuki M. Asano},
      year={2026},
      eprint={2611.15844},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2611.15844},
}

著者によるgithub.com/OpenVisionBanana/OpenVisionBanana#-citationの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。