Falcon OCR
Falcon OCRは、Technology Innovation Institute(TII)による0.27Bの早期融合(early fusion)型ドキュメントOCRモデルです。1つのTransformerが画像パッチとテキストを一緒に読み、数式はLaTeX、表はHTMLでページをテキストとして書き出します。LibreYOLOはFalcon OCR 1.5のPyTorch移植版をocrタスクで実行します。
- タスク
- ocr
- インストール
pip install "libreyolo[vlm]"- サポートティア
- 姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
- ライセンス
- コード:Apache-2.0、重み:Apache-2.0。商用利用
インストール
Falcon OCRはLibreYOLOのVLM層に属し、vlm extraが必要です。
pip install "libreyolo[vlm]"推論
重みは初回使用時にLibreYOLO/LibreFalconOCR270mからダウンロードされます。これはリビジョンを固定したtiiuae/Falcon-OCRのバイト単位で同一のミラーです。リリースはリモートコードを通じてFlexAttentionとTritonカーネルで動作しますが、LibreYOLOはそのどちらも使わない素のPyTorch移植版を実行します。
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr") # 初回使用時に重みをダウンロードresult = model.predict("page.png") # スキャンまたはレンダリングしたページ print(result.ocr.markdown) # ページのテキストfrom libreyolo import LibreVLM # PP-DocLayoutV3が読み順で領域を検出し、各クロップを# カテゴリのプロンプトで読み取るmodel = LibreVLM("falcon-ocr", layout=True)result = model.predict("page.png") for label, text in zip(result.ocr.labels, result.ocr.texts): print(label, text[:60])from libreyolo import LibreVLM model = LibreVLM("falcon-ocr", prompt="table")result = model.predict("table.png") # 切り出した表print(result.ocr.markdown) # HTMLの表このファミリーはLibreVLM()、またはLibreFalconOCRクラスで読み込みます。アップストリームと同じく、2つのモードがあります。
- デフォルト:ページ全体を1回で読み取ります。
Results.ocrは画像全体を覆うラベルplainの1領域を保持し、Results.ocr.markdownは同じテキストです。 layout=True:LibreYOLOのPP-DocLayoutV3移植版がlayout_threshold=0.3で読み順に領域を検出し、入れ子のボックスを除外したうえで、各クロップをカテゴリのプロンプトで読み取ります。クロップごとに1領域となり、labelsにレイアウトクラス、det_confにレイアウトスコアが入り、markdownはテキストを空行で連結します。画像と、アップストリームのプロンプトカテゴリを持たないクラスはスキップされます。
prompt=にはカテゴリ(plain、text、table、formula、caption、footnote、list-item、page-footer、page-header、section-header、title)またはカスタム指示を指定します。ページは両辺が64〜1536 pxに収まるようにリサイズされます。デコードは貪欲法で、新規トークンの上限は8192です。生成モデルはスコアを出力しないため、confは定数1.0です。
バリアント
サイズは270mの1つです。CUDAではtorch.autocastの下でbf16の重みを実行し、CPUとMPSではfloat32で実行します。重みは約1.1 GBです。バッチサイズは1です。CPU上のfloat32で、この移植版は6つのOCRフィクスチャと合成のレポートページでリリースをトークン単位で再現します。CUDAのbf16とレイアウトモードはアップストリームと比較していません。
検証
val()は共有のOCRバリデーターを実行します。
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr")metrics = model.val(data="ocr_dataset/")エクスポート
推論のみです。train()とexport()は例外を発生させます。
ライセンス
ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。
これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。
- 原著作物
- Falcon OCR, Technology Innovation Institute (TII)
- アップストリームのライセンス
- Apache-2.0
- アップストリームのソース
- github.com/tiiuae/Falcon-Perception
- LibreYOLOのコード
- MIT
- 重み
- Apache-2.0、huggingface.co/LibreYOLOで再公開
- 解釈
- Apache-2.0 is a permissive license, so the Falcon OCR weights and code can be used in commercial and closed-source products. Redistributing them means keeping the license text and TII's NOTICE, and the license grants a patent license. LibreYOLO ports the inference code of the Hugging Face release tiiuae/Falcon-OCR at revision 0bc28f89c90fbe8bdb063097fab144d4ce4c19b5 (Falcon OCR 1.5), which shares its architecture with TII's Falcon Perception repository (commit c457916c9974efbacfa91f0f6ecc2c49c6543e56, Apache-2.0, whose NOTICE covers the weights); see libreyolo/models/falconocr/NOTICE. The adapter is MIT, and the optional layout stage uses LibreYOLO's Apache-2.0 PP-DocLayoutV3 port. The weights are an unmodified, ungated mirror at LibreYOLO/LibreFalconOCR270m that ships the LICENSE and NOTICE.
Falcon OCRはTechnology Innovation InstituteによるApache-2.0で、コードと重みの両方が対象です。商用利用が可能です。重みはゲートされていない、バイト単位で同一のミラーです。オプションのレイアウト段は、LibreYOLOのApache-2.0のPP-DocLayoutV3移植版を使います。
引用
@article{bevli2026falcon,
title = {Falcon Perception},
author = {Bevli, Aviraj and Chaybouti, Sofian and Dahou, Yasser and Hacid, Hakim and Huynh, Ngoc Dung and Le Khac, Phuc H. and Narayan, Sanath and Para, Wamiq Reyaz and Singh, Ankit},
journal = {arXiv preprint arXiv:2603.27365},
year = {2026},
url = {https://arxiv.org/abs/2603.27365}
}著者によるhuggingface.co/tiiuae/Falcon-OCR#citationの引用ブロックからコピーしています。