Markdownで表示

Falcon OCR

Falcon OCRは、Technology Innovation Institute(TII)による0.27Bの早期融合(early fusion)型ドキュメントOCRモデルです。1つのTransformerが画像パッチとテキストを一緒に読み、数式はLaTeX、表はHTMLでページをテキストとして書き出します。LibreYOLOはFalcon OCR 1.5のPyTorch移植版をocrタスクで実行します。

タスク
ocr
インストール
pip install "libreyolo[vlm]"
サポートティア
姉妹ティア、v1.8.0以降。独自のファクトリと契約を持つ、独立した製品インターフェースです。
アップストリーム
Technology Innovation Institute (TII)のFalcon OCR、Apache-2.0。論文、ソース
ライセンス
コード:Apache-2.0、重み:Apache-2.0。商用利用

インストール

Falcon OCRはLibreYOLOのVLM層に属し、vlm extraが必要です。

bash
pip install "libreyolo[vlm]"

推論

重みは初回使用時にLibreYOLO/LibreFalconOCR270mからダウンロードされます。これはリビジョンを固定したtiiuae/Falcon-OCRのバイト単位で同一のミラーです。リリースはリモートコードを通じてFlexAttentionとTritonカーネルで動作しますが、LibreYOLOはそのどちらも使わない素のPyTorch移植版を実行します。

Python
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr")         # 初回使用時に重みをダウンロードresult = model.predict("page.png")      # スキャンまたはレンダリングしたページ print(result.ocr.markdown)              # ページのテキスト
レイアウト付き
from libreyolo import LibreVLM # PP-DocLayoutV3が読み順で領域を検出し、各クロップを# カテゴリのプロンプトで読み取るmodel = LibreVLM("falcon-ocr", layout=True)result = model.predict("page.png") for label, text in zip(result.ocr.labels, result.ocr.texts):    print(label, text[:60])
単一要素
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr", prompt="table")result = model.predict("table.png")     # 切り出した表print(result.ocr.markdown)              # HTMLの表

このファミリーはLibreVLM()、またはLibreFalconOCRクラスで読み込みます。アップストリームと同じく、2つのモードがあります。

  • デフォルト:ページ全体を1回で読み取ります。Results.ocrは画像全体を覆うラベルplainの1領域を保持し、Results.ocr.markdownは同じテキストです。
  • layout=True:LibreYOLOのPP-DocLayoutV3移植版がlayout_threshold=0.3で読み順に領域を検出し、入れ子のボックスを除外したうえで、各クロップをカテゴリのプロンプトで読み取ります。クロップごとに1領域となり、labelsにレイアウトクラス、det_confにレイアウトスコアが入り、markdownはテキストを空行で連結します。画像と、アップストリームのプロンプトカテゴリを持たないクラスはスキップされます。

prompt=にはカテゴリ(plain、text、table、formula、caption、footnote、list-item、page-footer、page-header、section-header、title)またはカスタム指示を指定します。ページは両辺が64〜1536 pxに収まるようにリサイズされます。デコードは貪欲法で、新規トークンの上限は8192です。生成モデルはスコアを出力しないため、confは定数1.0です。

バリアント

サイズは270mの1つです。CUDAではtorch.autocastの下でbf16の重みを実行し、CPUとMPSではfloat32で実行します。重みは約1.1 GBです。バッチサイズは1です。CPU上のfloat32で、この移植版は6つのOCRフィクスチャと合成のレポートページでリリースをトークン単位で再現します。CUDAのbf16とレイアウトモードはアップストリームと比較していません。

検証

val()は共有のOCRバリデーターを実行します。

Python
from libreyolo import LibreVLM model = LibreVLM("falcon-ocr")metrics = model.val(data="ocr_dataset/")

エクスポート

推論のみです。train()とexport()は例外を発生させます。

ライセンス

ダウンロードする特定の重みについて、Hugging Faceリポジトリのライセンスを確認してください。LibreYOLO orgの各チェックポイントにはライセンスが付与されており、同じファミリー内でも常に同一とは限りません。そのリポジトリが正式な情報源です。以下の概要は、このページを最後に検証した時点で適用されていた内容を示します。

これは関連するライセンスの説明であり、法的助言ではありません。商用上重要な場合は、自分でライセンスを読み、専門家の助言を受けてください。

原著作物
Falcon OCR, Technology Innovation Institute (TII)
アップストリームのライセンス
Apache-2.0
アップストリームのソース
github.com/tiiuae/Falcon-Perception
LibreYOLOのコード
MIT
重み
Apache-2.0、huggingface.co/LibreYOLOで再公開
解釈
Apache-2.0 is a permissive license, so the Falcon OCR weights and code can be used in commercial and closed-source products. Redistributing them means keeping the license text and TII's NOTICE, and the license grants a patent license. LibreYOLO ports the inference code of the Hugging Face release tiiuae/Falcon-OCR at revision 0bc28f89c90fbe8bdb063097fab144d4ce4c19b5 (Falcon OCR 1.5), which shares its architecture with TII's Falcon Perception repository (commit c457916c9974efbacfa91f0f6ecc2c49c6543e56, Apache-2.0, whose NOTICE covers the weights); see libreyolo/models/falconocr/NOTICE. The adapter is MIT, and the optional layout stage uses LibreYOLO's Apache-2.0 PP-DocLayoutV3 port. The weights are an unmodified, ungated mirror at LibreYOLO/LibreFalconOCR270m that ships the LICENSE and NOTICE.

Falcon OCRはTechnology Innovation InstituteによるApache-2.0で、コードと重みの両方が対象です。商用利用が可能です。重みはゲートされていない、バイト単位で同一のミラーです。オプションのレイアウト段は、LibreYOLOのApache-2.0のPP-DocLayoutV3移植版を使います。

引用

@article{bevli2026falcon,
  title   = {Falcon Perception},
  author  = {Bevli, Aviraj and Chaybouti, Sofian and Dahou, Yasser and Hacid, Hakim and Huynh, Ngoc Dung and Le Khac, Phuc H. and Narayan, Sanath and Para, Wamiq Reyaz and Singh, Ankit},
  journal = {arXiv preprint arXiv:2603.27365},
  year    = {2026},
  url     = {https://arxiv.org/abs/2603.27365}
}

著者によるhuggingface.co/tiiuae/Falcon-OCR#citationの引用ブロックからコピーしています。

LibreYOLO v1.8.0で検証済みです。このページのサポート表、チェックポイント、ベンチマーク値は手作業で記述したものではなく、リリース済みライブラリと公開済みの重みから生成されています。