查看 Markdown

GLM-OCR

GLM-OCR 是 Z.ai 的两阶段文档解析器。PP-DocLayoutV3 找出版面区域及其阅读顺序,0.9B 的 GLM-OCR 识别模型把每个区域读成文本、HTML 表格或 LaTeX 公式。LibreYOLO 为 ocr 任务移植了围绕这两个网络的官方 SDK 流水线。

任务
ocr
安装
pip install "libreyolo[vlm]"
支持层级
兄弟层级,自 v1.8.0 起。一个独立的产品面,有自己的工厂和契约。
上游
GLM-OCR,由 Z.ai (zai-org) 发布,采用 MIT (recognizer); Apache-2.0 (layout detector) 许可。论文、源码
许可
代码采用 Apache-2.0,权重采用 MIT (GLM-OCR recognizer); Apache-2.0 (PP-DocLayoutV3 layout detector)。商用

安装

GLM-OCR 属于 LibreYOLO 的 VLM 层级,需要 vlm extra。两个网络都通过 transformers 的原生类加载,需要 transformers 5.3 或更高版本。

bash
pip install "libreyolo[vlm]"

预测

两个网络的权重在首次使用时从同一个固定版本的镜像 LibreYOLO/LibreGLMOCR0.9b 下载。 不运行任何远程代码。

Python
from libreyolo import LibreVLM model = LibreVLM("glm-ocr")            # 权重在首次使用时下载result = model.predict("page.png")      # 一张扫描或渲染出来的页面 for label, text in zip(result.ocr.labels, result.ocr.texts):    print(label, text[:60])             # 每个区域一个块,按阅读顺序print(result.ocr.markdown)              # 整页的 markdown
单个元素
from libreyolo import LibreVLM # 跳过版面检测,直接读取一张预先裁好的表格model = LibreVLM("glm-ocr", use_layout_detection=False, prompt_label="table")result = model.predict("table.png")print(result.ocr.texts[0])              # HTML 表格
信息抽取
from libreyolo import LibreVLM model = LibreVLM("glm-ocr")reply = model.chat("id_card.png", 'Extract as JSON: {"name": "", "date": ""}')print(reply)

这个家族通过 LibreVLM() 或 LibreGLMOCR 类加载。Results.ocr 按阅读顺序为每个 版面区域存一个块:texts、polygons(写成 4 点四边形的轴对齐框)、labels(版面 类别,例如 text、table 或 formula),以及 markdown 里的整页内容,格式与官方 SDK 一致(标题、\tag{} 公式编号、连字符和项目符号修正)。与上游一样,页眉、页脚、 页码、脚注和侧边文字会被丢弃;图片和图表不会被读取。

Results.ocr.conf 是生成 token 概率的几何平均值,det_conf 是版面分数。conf= 不会过滤区域;版面使用上游阈值 0.3,可用 layout_threshold= 修改。解码遵循 SDK: 贪心解码,重复惩罚 1.1,最多 8192 个新 token。每个裁剪在识别前会像 SDK 发送时那样 经过一次 JPEG 编解码;image_format=None 可以跳过这一步。

use_layout_detection=False 配合 prompt_label=(text、table 或 formula) 读取预先裁好的元素。这是 LibreYOLO 提供的便利功能,SDK 里没有对应项。chat() 覆盖 JSON 信息抽取类的提示词。

变体

只有一个尺寸,0.9b:一个 CogViT 视觉编码器加一个 GLM-0.5B 解码器。版面阶段以 800 px 运行。CUDA 上识别模型用 bf16(不支持 bf16 时用 fp16),版面检测器用 fp32; CPU 和 MPS 上两者都用 fp32。PDF 输入、多边形裁剪、图片导出和托管 API 客户端没有移植。

验证

val() 通过模型自己的 predict 运行共用的 OCR 验证器。

Python
from libreyolo import LibreVLM model = LibreVLM("glm-ocr")metrics = model.val(data="ocr_dataset/")   # 检测 hmean、端到端 F1、1-NED

导出

仅支持推理:train() 和 export() 会抛出异常。

许可证

请检查你所下载的具体权重在 Hugging Face 仓库中的许可。LibreYOLO 组织里的每个检查点都附有许可,同一家族内也不一定相同。该仓库是权威来源;以下摘要说明本页上次验证时适用的情况。

这里只说明涉及的许可证,不构成法律意见。如果答案对商用很重要,请自行阅读许可证并咨询法律顾问。

原始工作
GLM-OCR, Z.ai (zai-org)
上游许可
MIT (recognizer); Apache-2.0 (layout detector)
LibreYOLO 代码
MIT
权重
采用 MIT (GLM-OCR recognizer); Apache-2.0 (PP-DocLayoutV3 layout detector) 许可,重新发布在 huggingface.co/LibreYOLO
解读
Both networks are under permissive licences that allow commercial and closed-source use. The GLM-OCR recognizer is MIT, as declared by its model card (upstream ships no license file or copyright line); keep the license notice with copies. The PP-DocLayoutV3 layout detector is Apache-2.0 (Copyright PaddlePaddle Authors): keep the license text and notices, and it grants a patent license. Both networks run through the Apache-2.0 Hugging Face Transformers classes; LibreYOLO ports only the document-parsing pipeline (layout post-processing, region crops, result formatting) from the GLM-OCR SDK at commit 0288f96bb9e78cb439883eaa725eeae90bd177c5, which is Apache-2.0 (libreyolo/models/glmocr/NOTICE), and the rest of the adapter is MIT. The weights are an unmodified, ungated mirror at LibreYOLO/LibreGLMOCR0.9b of zai-org/GLM-OCR (revision 2e85a62840ccac27daa451df36c736c4636b8628) with PaddlePaddle/PP-DocLayoutV3_safetensors (revision e4f489dc536556fc1be02b973ba06756e0d4a2ac) under layout/, shipping LICENSE and NOTICE.

按 Z.ai 模型卡的声明,GLM-OCR 识别模型的 权重采用 MIT 许可。PP-DocLayoutV3 版面检测器采用 Apache-2.0 许可(PaddlePaddle Authors),LibreYOLO 移植的 SDK 流水线也采用 Apache-2.0 许可。允许商用。权重是 不需要申请访问的镜像。

引用

@misc{duan2026glmocrtechnicalreport,
      title={GLM-OCR Technical Report},
      author={Shuaiqi Duan and Yadong Xue and Weihan Wang and Zhe Su and Huan Liu and Sheng Yang and Guobing Gan and Guo Wang and Zihan Wang and Shengdong Yan and Dexin Jin and Yuxuan Zhang and Guohong Wen and Yanfeng Wang and Yutao Zhang and Xiaohan Zhang and Wenyi Hong and Yukuo Cen and Da Yin and Bin Chen and Wenmeng Yu and Xiaotao Gu and Jie Tang},
      year={2026},
      eprint={2603.10910},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2603.10910},
}

复制自作者在 github.com/zai-org/GLM-OCR#citation 上提供的引用块。

已针对 LibreYOLO v1.8.0 验证。本页的支持表、检查点和基准测试数据由已发布的库和权重生成,并非手工编写。