Falcon Perception
Falcon Perceptionは、Technology Innovation Institute(TII)による早期融合(early fusion)型のTransformerです。画像と自然言語のクエリを読み、一致するすべてのインスタンスを返します。LibreYOLOはその推論ネットワークを同梱し、両サイズでのオープンボキャブラリ検出と、600mでのインスタンスセグメンテーションに対応します。
- タスク
- detection, instance segmentation
- サイズ
- 300m, 600m at 1024 px
- インストール
pip install "libreyolo[vlm]"- サポートティア
- 姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
- ライセンス
- コード:Apache-2.0、重み:Apache-2.0。商用利用
インストール
Falcon PerceptionはLibreYOLOのVLM層に属し、vlm extraが必要です。
pip install "libreyolo[vlm]"推論
重みは初回使用時に、リビジョンを固定したTII自身のリポジトリtiiuae/Falcon-Perception(600m)とtiiuae/Falcon-Perception-300Mからダウンロードされます。ネットワークはLibreYOLOに同梱されており、リモートコードは実行されません。
from libreyolo import LibreVLM, SAMPLE_IMAGE # 語彙の各エントリが1クエリ、インスタンスにはそのエントリのクラスIDが付くmodel = LibreVLM("falcon-perception", names=["building", "person"])result = model.predict(SAMPLE_IMAGE, save=True) for box in result.boxes: print(box.cls, box.xyxy)from libreyolo import LibreVLM, SAMPLE_IMAGE model = LibreVLM("falcon-perception", names=["the titanium building"])result = model.set_task("segment").predict(SAMPLE_IMAGE) print(result.boxes.xyxy)print(result.masks.data.shape) # インスタンスごとに1マスクfrom libreyolo import LibreVLM, SAMPLE_IMAGE # 小さいサイズはマスクヘッドがないため検出のみmodel = LibreVLM("falcon-perception-300m", names=["building"])result = model.predict(SAMPLE_IMAGE)このファミリーはLibreVLM()、またはLibreFalconPerceptionクラスで読み込みます。names=(またはset_classes())は必須です。語彙の各エントリは1つのテキストクエリと1回の生成に対応するため、コストはエントリ数に応じて増え、あるエントリで見つかったインスタンスにはすべてそのエントリのクラスIDが付きます。クエリはクラス名でも、"the dog on the left"のようなフレーズでもかまいません。
モデルは各インスタンスについて、ボックスの中心、ボックスの大きさ、マスククエリを出力します。detectはResults.boxesを返し、segment(600mのみ)はさらにResults.masksを返します。マスクは、マスククエリとAnyUpでアップサンプリングした画像特徴量との内積で作られます。信頼度は定数1.0で、NMSはありません。アップストリームの座標の重複除去はデコード中に実行されます(coord_dedup_threshold、デフォルト0.01)。生成の上限はクエリあたり新規トークン2048です(max_new_tokens)。
バリアント
| 名前 | サイズ | タスク |
|---|---|---|
falcon-perception、falcon-perception-600m | 600m(デフォルト) | detect、segment |
falcon-perception-300m | 300m | detect |
どちらも1024 pxで動作します。MPSしか使えない場合、このファミリーはCPUで動作します。RoPEのテーブルがcomplex64であり、MPSがそれを実装していないためです。CPU上のfp32で、この移植版はアップストリームのエンジンとビット単位で一致します。すべての順伝播のlogitsと隠れ状態、および生成トークン、ボックスの浮動小数点値、マスクのバイトが一致します。
エクスポート
推論のみです。train()、val()、export()、chat()は例外を発生させます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- Falcon Perception, Technology Innovation Institute (TII)
- アップストリームのライセンス
- Apache-2.0
- アップストリームのソース
- github.com/tiiuae/Falcon-Perception
- LibreYOLOのコード
- MIT
- 重み
- Apache-2.0、著者が配布。LibreYOLOではホストもミラーもしていません。
- 解釈
- Apache-2.0 is a permissive license, so the Falcon Perception code and weights can be used in commercial and closed-source products. Redistributing them means keeping the license text and TII's NOTICE, which asks public-facing work to retain it and cite the project, and the license grants a patent license. LibreYOLO vendors the inference network, preprocessing and generation loop from tiiuae/Falcon-Perception at commit c457916c9974efbacfa91f0f6ecc2c49c6543e56 under Apache-2.0 (libreyolo/models/falcon_perception/NOTICE); the adapter around it is MIT. One exception: the AnyUp feature upsampler that upstream flattened into its code, used only by the 600m segment task, is by the AnyUp authors under CC BY 4.0, which permits commercial use but requires attribution. Weights are not redistributed: they download at runtime from tiiuae/Falcon-Perception (600m, revision a3e21ada0abd533393776ffab8908a728f775509) and tiiuae/Falcon-Perception-300M (300m, detect only, revision 36993684b3ba5945b22d01e705f8ff2e048bf0b0), both declared Apache-2.0 and not gated.
Falcon PerceptionはTechnology Innovation InstituteによるApache-2.0で、コードと重みの両方が対象です。商用利用が可能です。TIIのNOTICEは、公開する成果物でNOTICEを保持し、プロジェクトを引用するよう求めています。600mのsegmentタスクでのみ使うAnyUp特徴アップサンプラーは、AnyUpの著者によるCC BY 4.0で、帰属表示を条件に商用利用が認められています。LibreYOLOは重みを再配布しません。
引用
@article{bevli2026falcon,
title = {Falcon Perception},
author = {Bevli, Aviraj and Chaybouti, Sofian and Dahou, Yasser and Hacid, Hakim and Huynh, Ngoc Dung and Le Khac, Phuc H. and Narayan, Sanath and Para, Wamiq Reyaz and Singh, Ankit},
journal = {arXiv preprint arXiv:2603.27365},
year = {2026},
url = {https://arxiv.org/abs/2603.27365}
}著者によるgithub.com/tiiuae/Falcon-Perception#citationの引用ブロックからコピーしています。