查看 Markdown

Falcon OCR

Falcon OCR 是技术创新研究院(TII)推出的 0.27B 早期融合文档 OCR 模型。一个 transformer 同时读取图像块和文本,把页面写成文本,公式用 LaTeX,表格用 HTML。LibreYOLO 在 ocr 任务上运行 Falcon OCR 1.5 的 PyTorch 移植版。

任务
ocr
安装
pip install "libreyolo[vlm]"
支持层级
兄弟层级,自 v1.8.0 起。一个独立的产品面,有自己的工厂和契约。
上游
Falcon OCR,由 Technology Innovation Institute (TII) 发布,采用 Apache-2.0 许可。论文、源码
许可
代码采用 Apache-2.0,权重采用 Apache-2.0。商用

安装

Falcon OCR 属于 LibreYOLO 的 VLM 层级,需要 vlm extra。

bash
pip install "libreyolo[vlm]"

预测

权重在首次使用时从 LibreYOLO/LibreFalconOCR270m 下载,这是 tiiuae/Falcon-OCR 的逐字节一致镜像,固定到某个 revision。发布版通过远程代码运行在 FlexAttention 和 一个 Triton 内核上;LibreYOLO 运行的是不依赖这两者的纯 PyTorch 移植版。

Python
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr")         # 权重在首次使用时下载result = model.predict("page.png")      # 一张扫描或渲染出来的页面 print(result.ocr.markdown)              # 页面文本
带版面分析
from libreyolo import LibreVLM # PP-DocLayoutV3 按阅读顺序找出区域;每个裁剪# 用对应类别的提示词识别model = LibreVLM("falcon-ocr", layout=True)result = model.predict("page.png") for label, text in zip(result.ocr.labels, result.ocr.texts):    print(label, text[:60])
单个元素
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr", prompt="table")result = model.predict("table.png")     # 一张裁剪出来的表格print(result.ocr.markdown)              # HTML 表格

这个家族通过 LibreVLM() 或 LibreFalconOCR 类加载。与上游一样有两种模式:

  • 默认:一次读完整页。Results.ocr 只有一个覆盖整张图像的区域,标签为 plain, Results.ocr.markdown 是同样的文本。
  • layout=True:LibreYOLO 的 PP-DocLayoutV3 移植版 以 layout_threshold=0.3 按阅读顺序找出区域,丢弃嵌套的框,每个裁剪用对应类别 的提示词识别。每个裁剪一个区域,labels 存版面类别,det_conf 存版面分数, markdown 用空行把各段文本连接起来。图片以及上游没有提示词类别的类会被跳过。

prompt= 接受一个类别(plain、text、table、formula、caption、 footnote、list-item、page-footer、page-header、section-header、 title)或一条自定义指令。页面会缩放到两边都在 64 到 1536 px 之间。解码采用贪心 解码,新 token 预算为 8192。生成式模型不输出分数,所以 conf 恒为 1.0。

变体

只有一个尺寸,270m。CUDA 上在 torch.autocast 下运行 bf16 权重;CPU 和 MPS 以 float32 运行,权重约 1.1 GB。批大小为 1。在 CPU 上以 float32 运行时,移植版在六个 OCR 测试样例和一张合成的报告页面上与发布版逐 token 一致;CUDA bf16 和版面模式没有 与上游对比过。

验证

val() 运行共用的 OCR 验证器。

Python
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr")metrics = model.val(data="ocr_dataset/")

导出

仅支持推理:train() 和 export() 会抛出异常。

许可证

请检查你所下载的具体权重在 Hugging Face 仓库中的许可。LibreYOLO 组织里的每个检查点都附有许可,同一家族内也不一定相同。该仓库是权威来源;以下摘要说明本页上次验证时适用的情况。

这里只说明涉及的许可证,不构成法律意见。如果答案对商用很重要,请自行阅读许可证并咨询法律顾问。

原始工作
Falcon OCR, Technology Innovation Institute (TII)
上游许可
Apache-2.0
LibreYOLO 代码
MIT
权重
采用 Apache-2.0 许可,重新发布在 huggingface.co/LibreYOLO
解读
Apache-2.0 is a permissive license, so the Falcon OCR weights and code can be used in commercial and closed-source products. Redistributing them means keeping the license text and TII's NOTICE, and the license grants a patent license. LibreYOLO ports the inference code of the Hugging Face release tiiuae/Falcon-OCR at revision 0bc28f89c90fbe8bdb063097fab144d4ce4c19b5 (Falcon OCR 1.5), which shares its architecture with TII's Falcon Perception repository (commit c457916c9974efbacfa91f0f6ecc2c49c6543e56, Apache-2.0, whose NOTICE covers the weights); see libreyolo/models/falconocr/NOTICE. The adapter is MIT, and the optional layout stage uses LibreYOLO's Apache-2.0 PP-DocLayoutV3 port. The weights are an unmodified, ungated mirror at LibreYOLO/LibreFalconOCR270m that ships the LICENSE and NOTICE.

Falcon OCR 的代码和权重都采用 Apache-2.0 许可,出自 技术创新研究院。 允许商用。权重是不需要申请访问、逐字节一致的镜像。可选的版面阶段使用 LibreYOLO 采用 Apache-2.0 许可的 PP-DocLayoutV3 移植版。

引用

@article{bevli2026falcon,
  title   = {Falcon Perception},
  author  = {Bevli, Aviraj and Chaybouti, Sofian and Dahou, Yasser and Hacid, Hakim and Huynh, Ngoc Dung and Le Khac, Phuc H. and Narayan, Sanath and Para, Wamiq Reyaz and Singh, Ankit},
  journal = {arXiv preprint arXiv:2603.27365},
  year    = {2026},
  url     = {https://arxiv.org/abs/2603.27365}
}

复制自作者在 huggingface.co/tiiuae/Falcon-OCR#citation 上提供的引用块。

已针对 LibreYOLO v1.8.0 验证。本页的支持表、检查点和基准测试数据由已发布的库和权重生成,并非手工编写。