LLMs之PDF:MinerU(将PDF文件转换成Markdown和JSON格式)的简介、安装和使用方法、案例应用之详细攻略

server/2024/12/25 1:24:12/

LLMs之PDF:MinerU(将PDF文件转换成Markdown和JSON格式)的简介、安装和使用方法、案例应用之详细攻略

目录

MinerU%E7%9A%84%E7%AE%80%E4%BB%8B-toc" style="margin-left:0px;">MinerU的简介

0、日志

MinerU%20%E7%9A%84%E4%B8%BB%E8%A6%81%E7%89%B9%E7%82%B9-toc" style="margin-left:40px;">1、MinerU 的主要特点

2、已知问题

MinerU%20%E5%AE%89%E8%A3%85%E5%92%8C%E4%BD%BF%E7%94%A8%E6%96%B9%E6%B3%95-toc" style="margin-left:0px;">MinerU 安装和使用方法

MinerU%E7%9A%84%E4%B8%89%E7%A7%8D%E4%BD%93%E9%AA%8C%E6%96%B9%E5%BC%8F-toc" style="margin-left:40px;">1、MinerU的三种体验方式

T1、在线演示

T2、快速CPU演示

T3、GPU 使用

2、命令行使用

3、Python API 使用

MinerU%E7%9A%84%E6%A1%88%E4%BE%8B%E5%BA%94%E7%94%A8-toc" style="margin-left:0px;">MinerU的案例应用

科学文献处理

数据预处理

知识图谱构建

文档摘要

其他文本挖掘任务


MinerU%E7%9A%84%E7%AE%80%E4%BB%8B" style="background-color:transparent;text-align:justify;">MinerU的简介

2024年7月5日,MinerU是一个高质量的开源工具,用于将PDF文件转换成Markdown和JSON格式。它提供了一站式解决方案,能够高精度地提取PDF文档中的各种信息。

MinerU 项目诞生于InternLM的预训练过程中,旨在解决科学文献中的符号转换问题,并为大模型时代的技术发展做出贡献。 它致力于提供高质量的PDF内容提取,目标是将PDF转换为机器可读的格式,例如Markdown和JSON,方便后续处理和应用。 与商业产品相比,MinerU 仍在发展中,如果遇到问题或结果不理想,建议在GitHub issue中提交问题并附上相关的PDF文件。

MinerU是一个功能强大且易于使用的PDF转换工具,它能够高效地将PDF转换为Markdown和JSON格式,并支持多种高级功能,例如公式识别、表格识别和OCR。 虽然还存在一些已知问题,但其不断更新迭代,并积极吸纳社区反馈,未来有望成为一个更加完善和强大的PDF处理工具。

GitHub地址:GitHub - opendatalab/MinerU: A high-quality tool for convert PDF to Markdown and JSON.一站式开源高质量数据提取工具,将PDF转换成Markdown和JSON格式。

0、日志

2024年11月22日发布0.10.0版本。引入了混合OCR文本提取功能,显著提高了在复杂文本分布场景(如密集公式、不规则跨度区域和图像表示的文本)中的解析性能。结合了文本模式中准确内容提取和更快速度的优势,以及在OCR模式中更精确的跨度/行区域识别。 
2024年11月15日发布0.9.3版本。集成了RapidTable进行表格识别,将单表格解析速度提高了10倍以上,同时准确性更高,GPU内存使用率更低。 
2024年11月6日发布0.9.2版本。集成了StructTable-InternVL2-1B模型以实现表格识别功能。 
2024年10月31日发布0.9.0版本。这是一个主要的新版本,进行了广泛的代码重构,解决了许多问题,提高了性能,降低了硬件要求,并增强了可用性: 重构了排序模块代码,使用layoutreader进行阅读顺序排序,确保在各种布局中保持高准确性。 重构了段落拼接模块,实现了跨列、跨页、跨图形和跨表格场景的良好效果。 重构了列表和目录识别功能,显著提高了列表块和目录块的准确性,以及相应文本段落的解析。 重构了图形、表格和描述文本的匹配逻辑,大大提高了将标题和脚注与图形和表格匹配的准确性,并将描述文本的丢失率降低到接近零。 为OCR添加了多语言支持,支持检测和识别84种语言。支持的语言列表请参见OCR语言支持列表。 添加了内存回收逻辑和其他内存优化措施,显著降低了内存使用。启用所有加速功能(不包括表格加速(布局/公式/OCR))的内存需求从16GB降低到8GB,启用所有加速功能的内存需求从24GB降低到10GB。 优化了配置文件功能开关,添加了独立的公式检测开关,在不需要公式检测时可以显著提高速度和解析结果。 集成了PDF-Extract-Kit 1.0: 添加了自研的doclayout_yolo模型,与原始解决方案相比,处理速度提高了10倍以上,同时保持了类似的解析效果,并且可以通过配置文件与layoutlmv3自由切换。 将公式解析升级到unimernet 0.2.1,提高了公式解析的准确性,同时显著降低了内存使用。 由于PDF-Extract-Kit 1.0的仓库变更,您需要重新下载模型。请参阅如何下载模型以获取详细步骤。 
2024年9月27日发布0.8.1版本,修复了一些错误,并提供了在线演示和前端界面的本地化部署版本。 
2024年9月9日:发布0.8.0版本,支持使用Dockerfile快速部署,并在Huggingface和Modelscope上推出演示。
2024年8月30日:发布0.7.1版本,添加了paddle tablemaster表格识别选项 
2024年8月9日:发布0.7.0b1版本,简化了安装过程,添加了表格识别功能 
2024年8月1日:发布0.6.2b1版本,优化了依赖冲突问题和安装文档
2024年7月5日:首次开源发布

MinerU%20%E7%9A%84%E4%B8%BB%E8%A6%81%E7%89%B9%E7%82%B9" style="background-color:transparent;text-align:left;">1、MinerU 的主要特点

去除页眉、页脚、脚注、页码等干扰信息;以人类可读的顺序输出文本,适应单列、多列和复杂布局;保留原始文档结构,包括标题、段落、列表等;提取图像、图像描述、表格、表格标题和脚注;自动识别并转换公式为LaTeX格式;自动识别并转换表格为HTML格式;自动检测扫描版PDF和乱码PDF并启用OCR功能;OCR支持84种语言的检测和识别;支持多种输出格式,例如多模态和NLP Markdown、按阅读顺序排序的JSON以及丰富的中间格式;支持多种可视化结果,包括布局可视化和跨度可视化,方便确认输出质量;支持CPU和GPU环境;兼容Windows、Linux和Mac平台。

>> 高质量PDF提取工具MinerU 是一款高质量的工具,能够将PDF文件转换成机器可读的格式,例如Markdown和JSON。这使得数据提取和进一步处理变得非常容易。

>> 多格式输出:支持多种输出格式,包括多模态和NLP Markdown、按阅读顺序排序的JSON以及丰富的中间格式。

>> 结构化保留:能够保留原始文档的结构,包括标题、段落、列表等,保证语义连贯性。

>> 全面信息提取:不仅提取文本,还能够提取图像、图像描述、表格、表格标题和脚注等信息。

>> 公式和表格转换:自动识别并转换文档中的公式为LaTeX格式,表格为HTML格式。

>> OCR支持:自动检测扫描版PDF和乱码PDF,并启用OCR功能,支持84种语言的检测和识别。

>> 布局处理能力强:能够处理单列、多列和复杂布局的文档,并按人类可读的顺序输出文本。 针对复杂的文本分布场景(如密集公式、不规则跨度区域和图像表示的文本)的解析性能也有显著提升。

>> 多种优化:进行了大量的代码重构,解决了诸多问题,提升了性能,降低了硬件要求,并增强了易用性。 包括内存优化,支持多种模型选择,并针对公式检测、表格识别等功能提供了独立开关,方便用户根据需求调整。

>> 多种运行环境支持:支持CPU和GPU环境,兼容Windows、Linux和Mac平台。

>> 开源且持续更新:项目开源,并持续更新和维护,不断改进性能和功能。

2、已知问题

>> 复杂的布局可能会导致阅读顺序错误。

>> 不支持垂直文本。

>> 对一些不常见的列表格式识别可能存在问题。

>> 只支持一级标题。

>> 代码块目前不支持。

>> 漫画书、艺术画册、小学课本和练习题等类型的PDF解析效果可能较差。

>> 复杂的表格识别可能出现行/列识别错误。

>> 对于一些小众语言的PDF,OCR识别可能存在误差。

>> 部分公式在Markdown中可能无法正确渲染。

MinerU%20%E5%AE%89%E8%A3%85%E5%92%8C%E4%BD%BF%E7%94%A8%E6%96%B9%E6%B3%95" style="text-align:justify;">MinerU 安装和使用方法

MinerU%E7%9A%84%E4%B8%89%E7%A7%8D%E4%BD%93%E9%AA%8C%E6%96%B9%E5%BC%8F" style="text-align:left;">1、MinerU的三种体验方式

在线演示(无需安装)、快速CPU演示(Windows、Linux、Mac)和GPU加速(需要CUDA环境)。

T1、在线演示

提供了稳定版和测试版两个版本,无需任何安装,可以直接在网页上进行测试。

T2、快速CPU演示

安装 magic-pdf:使用conda创建名为MinerU的Python 3.10虚拟环境,激活环境后,使用pip安装 magic-pdf[full] 包,并指定额外的索引URL(--extra-index-url https://wheels.myhloli.com)。

下载模型权重文件:参考项目文档中的“如何下载模型文件”部分进行下载。

修改配置文件:脚本会自动生成 magic-pdf.json 文件,用户可以修改该文件中的配置来启用或禁用某些功能,例如表格识别。 配置文件中包含对 layoutlmv3 和 doclayout_yolo 模型、公式识别和表格识别的配置选项,用户可以根据需要进行调整。

T3、GPU 使用

如果设备支持CUDA并满足GPU要求,可以使用GPU加速。 项目提供了Ubuntu 22.04 LTS + GPU和Windows 10/11 + GPU的详细指南。 也提供了使用Docker进行快速部署的方法,但需要至少8GB VRAM的GPU,所有加速功能默认启用。

2、命令行使用

MinerU可以通过命令行进行使用,具体使用方法请参考项目文档中的“命令行”部分。

3、Python API 使用

MinerU 也提供了Python API,方便用户在自己的程序中集成使用,具体使用方法请参考项目文档中的“API”部分。

MinerU%E7%9A%84%E6%A1%88%E4%BE%8B%E5%BA%94%E7%94%A8" style="text-align:justify;">MinerU的案例应用

MinerU 主要应用于需要从PDF文档中提取结构化数据的场景,例如:

科学文献处理

MinerU最初是为了解决科学文献中的符号转换问题而开发的,可以用于提取文献中的公式、表格、文本等信息,方便后续的分析和处理。

数据预处理

MinerU可以作为数据预处理工具,将PDF文档转换为结构化的数据,用于训练大型语言模型或其他机器学习模型。

知识图谱构建

MinerU可以用于提取PDF文档中的实体关系信息,用于构建知识图谱。

文档摘要

MinerU可以提取PDF文档中的关键信息,用于生成文档摘要。

其他文本挖掘任务

MinerU可以用于各种文本挖掘任务,例如文本分类、情感分析等。


http://www.ppmy.cn/server/152922.html

相关文章

D101【python 接口自动化学习】- pytest进阶之fixture用法

day101 pytest的fixture执行顺序 学习日期:20241218 学习目标:pytest基础用法 -- pytest的fixture执行顺序 学习笔记: fixtrue的作用范围 实战结果 import pytestpytest.fixture(scopesession) def test_session():print(我是 session f…

118.KubeSphere应用商店安装Harbor提示镜像拉取失败的解决办法

目录 1.原因 2.修改Docker镜像地址 1.原因 docker镜像拉取有问题,很多都拉取不了了。 2.修改Docker镜像地址 vi /etc/docker/daemon.json { "registry-mirrors": [ "https://dockerhub.xianfish.site", "https://yxzrazem.mirror.aliy…

jsp中的四个域对象(Spring MVC)

在Spring MVC中,Model中的数据会被自动放入到请求域(Request Scope)中。也就是说,当我们在控制器中使用model.addAttribute()时,这些属性会被放入到HttpServletRequest对象的属性中。 让我们通过代码来详细解释&#…

springboot/ssm七彩云南文化旅游网站Java代码编写web在线旅游景点管理

springboot/ssm七彩云南文化旅游网站Java代码编写web在线旅游景点管理 基于springboot(可改ssm)htmlvue项目 开发语言:Java 框架:springboot/可改ssm vue JDK版本:JDK1.8(或11) 服务器:tomcat 数据库&…

【算法day20】回溯:子集与全排列问题

题目引用 非递减子序列全排列全排列II 1. 非递减子序列 给你一个整数数组 nums ,找出并返回所有该数组中不同的递增子序列,递增子序列中 至少有两个元素 。你可以按 任意顺序 返回答案。 数组中可能含有重复元素,如出现两个整数相等&#x…

阿里云cdn稳定吗?

阿里云CDN(内容分发网络)是阿里云提供的一项全球加速服务,它的稳定性通常被认为是非常高的,尤其在国内市场。九河云给大家总结了阿里云CDN的稳定性情况: 1. 全球节点覆盖广泛 阿里云CDN在全球范围内拥有数百个加速节…

MongoDB常见面试题总结(上)

MongoDB 基础 MongoDB 是什么? MongoDB 是一个基于 分布式文件存储 的开源 NoSQL 数据库系统,由 C++ 编写的。MongoDB 提供了 面向文档 的存储方式,操作起来比较简单和容易,支持“无模式”的数据建模,可以存储比较复杂的数据类型,是一款非常流行的 文档类型数据库 。 …

RHCE-第七章:SELinux

一、selinux的说明 SELinux是Security-Enhanced Linux的缩写,意思是安全强化的linux。SELinux 主要由美国国家安全局(NSA)开发,当初开发的目的是为了避免资源的误用。系统资源都是通过程序进行访问的,如果将 /var/www…