Falcon OCR
Falcon OCR 是技术创新研究院(TII)推出的 0.27B 早期融合文档 OCR 模型。一个 transformer 同时读取图像块和文本,把页面写成文本,公式用 LaTeX,表格用 HTML。LibreYOLO 在 ocr 任务上运行 Falcon OCR 1.5 的 PyTorch 移植版。
- 任务
- ocr
- 安装
pip install "libreyolo[vlm]"- 支持层级
- 兄弟层级,自 v1.8.0 起。一个独立的产品面,有自己的工厂和契约。
- 许可
- 代码采用 Apache-2.0,权重采用 Apache-2.0。商用
安装
Falcon OCR 属于 LibreYOLO 的 VLM 层级,需要 vlm extra。
pip install "libreyolo[vlm]"预测
权重在首次使用时从 LibreYOLO/LibreFalconOCR270m 下载,这是 tiiuae/Falcon-OCR
的逐字节一致镜像,固定到某个 revision。发布版通过远程代码运行在 FlexAttention 和
一个 Triton 内核上;LibreYOLO 运行的是不依赖这两者的纯 PyTorch 移植版。
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr") # 权重在首次使用时下载result = model.predict("page.png") # 一张扫描或渲染出来的页面 print(result.ocr.markdown) # 页面文本from libreyolo import LibreVLM # PP-DocLayoutV3 按阅读顺序找出区域;每个裁剪# 用对应类别的提示词识别model = LibreVLM("falcon-ocr", layout=True)result = model.predict("page.png") for label, text in zip(result.ocr.labels, result.ocr.texts): print(label, text[:60])from libreyolo import LibreVLM model = LibreVLM("falcon-ocr", prompt="table")result = model.predict("table.png") # 一张裁剪出来的表格print(result.ocr.markdown) # HTML 表格这个家族通过 LibreVLM() 或 LibreFalconOCR 类加载。与上游一样有两种模式:
- 默认:一次读完整页。
Results.ocr只有一个覆盖整张图像的区域,标签为plain,Results.ocr.markdown是同样的文本。 layout=True:LibreYOLO 的 PP-DocLayoutV3 移植版 以layout_threshold=0.3按阅读顺序找出区域,丢弃嵌套的框,每个裁剪用对应类别 的提示词识别。每个裁剪一个区域,labels存版面类别,det_conf存版面分数,markdown用空行把各段文本连接起来。图片以及上游没有提示词类别的类会被跳过。
prompt= 接受一个类别(plain、text、table、formula、caption、
footnote、list-item、page-footer、page-header、section-header、
title)或一条自定义指令。页面会缩放到两边都在 64 到 1536 px 之间。解码采用贪心
解码,新 token 预算为 8192。生成式模型不输出分数,所以 conf 恒为 1.0。
变体
只有一个尺寸,270m。CUDA 上在 torch.autocast 下运行 bf16 权重;CPU 和 MPS 以
float32 运行,权重约 1.1 GB。批大小为 1。在 CPU 上以 float32 运行时,移植版在六个
OCR 测试样例和一张合成的报告页面上与发布版逐 token 一致;CUDA bf16 和版面模式没有
与上游对比过。
验证
val() 运行共用的 OCR 验证器。
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr")metrics = model.val(data="ocr_dataset/")导出
仅支持推理:train() 和 export() 会抛出异常。
许可证
请检查你所下载的具体权重在 Hugging Face 仓库中的许可。LibreYOLO 组织里的每个检查点都附有许可,同一家族内也不一定相同。该仓库是权威来源;以下摘要说明本页上次验证时适用的情况。
这里只说明涉及的许可证,不构成法律意见。如果答案对商用很重要,请自行阅读许可证并咨询法律顾问。
- 原始工作
- Falcon OCR, Technology Innovation Institute (TII)
- 上游许可
- Apache-2.0
- LibreYOLO 代码
- MIT
- 权重
- 采用 Apache-2.0 许可,重新发布在 huggingface.co/LibreYOLO
- 解读
- Apache-2.0 is a permissive license, so the Falcon OCR weights and code can be used in commercial and closed-source products. Redistributing them means keeping the license text and TII's NOTICE, and the license grants a patent license. LibreYOLO ports the inference code of the Hugging Face release tiiuae/Falcon-OCR at revision 0bc28f89c90fbe8bdb063097fab144d4ce4c19b5 (Falcon OCR 1.5), which shares its architecture with TII's Falcon Perception repository (commit c457916c9974efbacfa91f0f6ecc2c49c6543e56, Apache-2.0, whose NOTICE covers the weights); see libreyolo/models/falconocr/NOTICE. The adapter is MIT, and the optional layout stage uses LibreYOLO's Apache-2.0 PP-DocLayoutV3 port. The weights are an unmodified, ungated mirror at LibreYOLO/LibreFalconOCR270m that ships the LICENSE and NOTICE.
Falcon OCR 的代码和权重都采用 Apache-2.0 许可,出自 技术创新研究院。 允许商用。权重是不需要申请访问、逐字节一致的镜像。可选的版面阶段使用 LibreYOLO 采用 Apache-2.0 许可的 PP-DocLayoutV3 移植版。
引用
@article{bevli2026falcon,
title = {Falcon Perception},
author = {Bevli, Aviraj and Chaybouti, Sofian and Dahou, Yasser and Hacid, Hakim and Huynh, Ngoc Dung and Le Khac, Phuc H. and Narayan, Sanath and Para, Wamiq Reyaz and Singh, Ankit},
journal = {arXiv preprint arXiv:2603.27365},
year = {2026},
url = {https://arxiv.org/abs/2603.27365}
}复制自作者在 huggingface.co/tiiuae/Falcon-OCR#citation 上提供的引用块。