查看 Markdown

Falcon Perception

Falcon Perception 是技术创新研究院(TII)推出的早期融合 transformer,它读取一张图像和一条自然语言查询,返回所有匹配的实例。LibreYOLO 内置了它的推理网络,两个尺寸都支持开放词汇检测,600m 还支持实例分割。

任务
detection, instance segmentation
尺寸
300m, 600m at 1024 px
安装
pip install "libreyolo[vlm]"
支持层级
兄弟层级,自 v1.8.0 起。一个独立的产品面,有自己的工厂和契约。
上游
Falcon Perception,由 Technology Innovation Institute (TII) 发布,采用 Apache-2.0 许可。论文、源码
许可
代码采用 Apache-2.0,权重采用 Apache-2.0。商用

安装

Falcon Perception 属于 LibreYOLO 的 VLM 层级,需要 vlm extra。

bash
pip install "libreyolo[vlm]"

预测

权重在首次使用时从 TII 自己的仓库下载,即 tiiuae/Falcon-Perception(600m)和 tiiuae/Falcon-Perception-300M,固定到某个 revision。网络内置在 LibreYOLO 里; 不运行任何远程代码。

Python
from libreyolo import LibreVLM, SAMPLE_IMAGE # 每个词表条目是一条查询;实例拿到该条目的类别 idmodel = LibreVLM("falcon-perception", names=["building", "person"])result = model.predict(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.xyxy)
分割
from libreyolo import LibreVLM, SAMPLE_IMAGE model = LibreVLM("falcon-perception", names=["the titanium building"])result = model.set_task("segment").predict(SAMPLE_IMAGE) print(result.boxes.xyxy)print(result.masks.data.shape)          # 每个实例一个掩码
300m
from libreyolo import LibreVLM, SAMPLE_IMAGE # 较小的尺寸没有掩码 head:只能检测model = LibreVLM("falcon-perception-300m", names=["building"])result = model.predict(SAMPLE_IMAGE)

这个家族通过 LibreVLM() 或 LibreFalconPerception 类加载。必须提供 names=(或 set_classes())。每个词表条目对应一条文本查询和一次生成,所以开销随条目数增长, 为某个条目找到的每个实例都拿到该条目的类别 id。查询可以是类别名,也可以是 "the dog on the left" 这样的短语。

对每个实例,模型输出一个框中心、一个框尺寸和一个掩码 query。detect 返回 Results.boxes;segment(仅 600m)还返回 Results.masks,由掩码 query 与经过 AnyUp 上采样的图像特征做点积得到。置信度恒为 1.0,也没有 NMS:上游的坐标去重在 解码过程中进行(coord_dedup_threshold,默认 0.01)。每条查询的生成预算是 2048 个 新 token(max_new_tokens)。

变体

名称尺寸任务
falcon-perception、falcon-perception-600m600m(默认)detect、segment
falcon-perception-300m300mdetect

两者都以 1024 px 运行。只有 MPS 可用时,这个家族会在 CPU 上运行,因为它的 RoPE 表是 complex64,而 MPS 没有实现这种类型。在 CPU 上以 fp32 运行时,移植版与上游引擎逐位 一致:每次前向传播的 logits 和隐藏状态,以及生成的 token、框的浮点数和掩码字节。

导出

仅支持推理:train()、val()、export() 和 chat() 会抛出异常。

许可证

请检查你所下载的具体权重在 Hugging Face 仓库中的许可。LibreYOLO 组织里的每个检查点都附有许可,同一家族内也不一定相同。该仓库是权威来源;以下摘要说明本页上次验证时适用的情况。

这里只说明涉及的许可证,不构成法律意见。如果答案对商用很重要,请自行阅读许可证并咨询法律顾问。

原始工作
Falcon Perception, Technology Innovation Institute (TII)
上游许可
Apache-2.0
LibreYOLO 代码
MIT
权重
采用 Apache-2.0 许可,由作者分发。LibreYOLO 不托管或镜像这些权重。
解读
Apache-2.0 is a permissive license, so the Falcon Perception code and weights can be used in commercial and closed-source products. Redistributing them means keeping the license text and TII's NOTICE, which asks public-facing work to retain it and cite the project, and the license grants a patent license. LibreYOLO vendors the inference network, preprocessing and generation loop from tiiuae/Falcon-Perception at commit c457916c9974efbacfa91f0f6ecc2c49c6543e56 under Apache-2.0 (libreyolo/models/falcon_perception/NOTICE); the adapter around it is MIT. One exception: the AnyUp feature upsampler that upstream flattened into its code, used only by the 600m segment task, is by the AnyUp authors under CC BY 4.0, which permits commercial use but requires attribution. Weights are not redistributed: they download at runtime from tiiuae/Falcon-Perception (600m, revision a3e21ada0abd533393776ffab8908a728f775509) and tiiuae/Falcon-Perception-300M (300m, detect only, revision 36993684b3ba5945b22d01e705f8ff2e048bf0b0), both declared Apache-2.0 and not gated.

Falcon Perception 的代码和权重都采用 Apache-2.0 许可,出自 技术创新研究院。 允许商用;TII 的 NOTICE 要求面向公众的作品保留该声明并引用这个项目。AnyUp 特征 上采样器只在 600m 的 segment 任务中使用,出自 AnyUp 作者,采用 CC BY 4.0 许可, 允许在署名的前提下商用。LibreYOLO 不再分发这些权重。

引用

@article{bevli2026falcon,
  title   = {Falcon Perception},
  author  = {Bevli, Aviraj and Chaybouti, Sofian and Dahou, Yasser and Hacid, Hakim and Huynh, Ngoc Dung and Le Khac, Phuc H. and Narayan, Sanath and Para, Wamiq Reyaz and Singh, Ankit},
  journal = {arXiv preprint arXiv:2603.27365},
  year    = {2026},
  url     = {https://arxiv.org/abs/2603.27365}
}

复制自作者在 github.com/tiiuae/Falcon-Perception#citation 上提供的引用块。

已针对 LibreYOLO v1.8.0 验证。本页的支持表、检查点和基准测试数据由已发布的库和权重生成,并非手工编写。