尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

docling 文档解析实战:多格式 PDF 转 Markdown,3 行代码跑通 RAG 预处理

docling 文档解析实战:多格式 PDF 转 Markdown,3 行代码跑通 RAG 预处理 docling 文档解析实战多格式 PDF 转 Markdown3 行代码跑通 RAG 预处理【免费下载链接】doclingGet your documents ready for gen AI项目地址: https://gitcode.com/GitHub_Trending/do/doclingdocling 是一个多格式文档解析工具把 PDF、DOCX、图片等文件统一解析成结构化文档再用 3 行代码转成 Markdown 或 JSON全程可在本地离线运行是 RAG 文档预处理环节的常用底座。 3 行代码跑通第一次转换先装包pip install docling然后from docling.document_converter import DocumentConverter result DocumentConverter().convert(report.pdf) print(result.document.export_to_markdown())运行后 stdout 直接输出带标题层级和表格的 Markdown中间产物是统一的 DoclingDocument 结构换其他格式输出只需换一个导出方法。首次转换的更多写法可以看 examples/。 支持格式一览多格式文档转换能力一览完整清单见 supported_formats.md输入格式典型场景输出能力PDF论文、合同、技术文档版面分析、阅读顺序、表格/公式识别支持扫描件 OCRDOCX办公文档保留标题层级、列表与表格PPTX演示文稿按幻灯片拆分导出分节文本XLSX电子表格工作表转为 Markdown 表格Markdown文档统一入库无损转存为统一结构HTML网页正文提取保留语义结构与超链接CSV数据文件迁移保留表头与分隔符输出 Markdown 表格图片PNG/JPEG/TIFF/WEBP扫描件、截图数字化走 OCR 提取文字并保留版面 四个最实用的解析能力 页面布局与阅读顺序docling 先做版面分析把页面上的文本块按真实阅读顺序排好多栏论文、侧边栏、页眉页脚这类容易乱序的版面也能还原成正常段落。 表格结构化识别表格识别支持合并单元格、跨页表格等复杂结构先检测行列边界再按行抽取单元格内容输出为可计算的表格对象而不是一堆错位的文本行。 OCR 与扫描件处理纯扫描的 PDF 和各类图片走 OCR 流程从像素里恢复文字并尽量保留版面位置让扫描件也能得到和原生 PDF 接近的结构化结果。 图片与公式的 AI 理解VLM 增强开启视觉语言模型VLM增强后docling 能进一步看懂内容描述图片与图表在讲什么、把公式转为 LaTeX、把柱状图/饼图等图表抽成结构化数据这些结果可以直接喂给 LLM 使用。 接入 LLM / RAG 生态解析结果可以直接被 LangChain、LlamaIndex 等框架消费下面的例子把 PDF 解析、分块、向量化三步串起来from langchain_docling import DoclingLoader from langchain_text_splitters import RecursiveCharacterTextSplitter docs DoclingLoader(report.pdf).load_and_split() texts RecursiveCharacterTextSplitter(chunk_size500).split_documents(docs) vs.add_documents(texts) 本地部署与数据隐私docling 的解析和模型推理都可以跑在本地机器上文档与模型权重都留在内网。下图是一条常见的离线链路文档入库 → docling 转换 → 向量库 → 本地 LLM。因此金融报表、医疗记录、合同等敏感文档场景以及完全断网的隔离环境都可以放心用。整体架构设计可参考 architecture.md。⚠️ 上手前避坑提示大文件先掂量内存几百页的 PDF 在 CPU 上转换内存占用可观长文档建议拆分文件或分批跑。OCR 开关按需开原生 PDF 默认无需 OCR扫描件才打开反过来对纯文本 PDF 强开 OCR 只拖慢速度还要注意 OCR 模型首次运行需要下载。输出格式按用途选喂给 LLM 用 Markdown要无损存档用 JSON需要带图展示再用 HTML别只盯着一种。结尾如果你正在给 RAG 准备文档库、做内部知识库或自动化文档数字化docling 值得放进工具链。建议先用团队里一份真实文档转一遍 Markdown 看看效果再决定是否全面接入。【免费下载链接】doclingGet your documents ready for gen AI项目地址: https://gitcode.com/GitHub_Trending/do/docling创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表