PDF是基于PostScript子集渲染的#xff0c;PostScript是一门图灵完备的语言。

而WORD需要的渲染#xff0c;本质上是PDF能力的子集。

大模型领域#xff0c;我们的目标文件格…

PDF的数据解析是一件较困难的事情几乎所有商家都把PDF转WORD功能做成付费产品。

PDF是基于PostScript子集渲染的PostScript是一门图灵完备的语言。

而WORD需要的渲染本质上是PDF能力的子集。

大模型领域我们的目标文件格式一般是markdownmarkdown相较于WORD更加简单是WORD的子集。

子集向父集转换是容易的因为子集有的功能父集都有。

而父集向子集转换是困难的因为父集的众多功能子集并不具备。

通过元素映射的方式来实现PDF的解析是不现实的。

于是上海人工智能实验室的研发人员提出利用多种深度学习算法来直接分析和识别PDF上的文字、图片、公式、表格等再反向合并成最终的markdown文件。

TableMaster

负责表格的结构解析和内容整合二者结合实现了对文档图像中表格的全面识别和理解。

模型名称模型功能模型详情LayoutLMv3布局检测模型unilm/layoutlmv3

master

(github.com)UniMERNet公式识别模型opendatalab/UniMERNet:

UniMERNet:

(github.com)StructEqTable表格识别模型Alpha-Innovator/StructEqTable-Deploy:

High-efficiency

(github.com)YOLO公式检测模型ultralytics/ultralytics:

Ultralytics

(github.com)PaddleOCROCR模型PaddlePaddle/PaddleOCR:

Awesome

(github.com)DocLayout-YOLO布局检测模型opendatalab/DocLayout-YOLO:

DocLayout-YOLO:

字段名解释pdf_infolist每个元素都是一个dict,这个dict是每一页pdf的解析结果详见下表_parse_typeocr

txt用来标识本次解析的中间态使用的模式_version_namestring,

magic-pdf

[193,793,1462,793,1462,1354,193,1354],score:

0.983},{category_id:

[319,314,1340,314,1340,424,319,424],score:

0.968},{category_id:

[207,1410,1444,1410,1444,1976,207,1976],score:

0.966},7.DeepSeek-AI

删除页眉、页脚、脚注、页码等元素确保语义连贯输出符合人类阅读顺序的文本适用于单栏、多栏及复杂排版保留原文档的结构包括标题、段落、列表等提取图像、图片描述、表格、表格标题及脚注自动识别并转换文档中的公式为LaTeX格式自动识别并转换文档中的表格为HTML格式自动检测扫描版PDF和乱码PDF并启用OCR功能OCR支持84种语言的检测与识别支持多种输出格式如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等支持多种可视化结果包括layout可视化、span可视化等便于高效确认输出效果与质检支持纯CPU环境运行并支持

Miner效果实测

MinerU尽管在表单、算法栏识别效果一般但已经是开源项目中效果最好的一档了。

希望持续进步继续为开源PDF解析社区做出贡献