尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

MinerU离线部署完整流程:断网环境 5 步落地文档解析

MinerU离线部署完整流程:断网环境 5 步落地文档解析 MinerU离线部署完整流程断网环境 5 步落地文档解析【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerUMinerU 能把 PDF、扫描件和 Office 文档解析成 LLM 可直接使用的 Markdown 和 JSON。下面走一遍 MinerU离线部署 的完整流程在一台能上网的机器上备好模型和依赖搬进没有外网的机器装好、配好、跑通。读完这篇你在一台完全断网的服务器上能独立把一份 PDF 解析出来。从一台机房里的断网服务器说起上个月有同事找我说给政务客户交付一套 PDF 解析服务。客户的服务器在机房里只通内网装软件要审批模型仓库一个都连不上。第一次直接pip install卡在下载模型那一步干等了一下午。后来我们把整个流程拆成了两段联网机器准备材料断网机器只做安装和验证。下面就是这套被验证过好几次的做法。先说结论两段式交付产物是三样东西整个离线部署可以看成一次搬迁最终要往内网搬三样东西模型文件pipeline 小模型 VLM 模型联网机上用一条命令下齐Python 依赖wheels 缓存目录离线机上--no-index安装配置文件把模型指向本地的mineru.json跑通后的最终状态是mineru -p 输入.pdf -o 输出目录在断网机上执行全程不产生任何外网请求。联网机下模型、缓依赖这一步做完你手里会有一个模型目录、一个依赖缓存目录可以打包走。先装 MinerU 本身git clone https://gitcode.com/GitHub_Trending/mi/MinerU pip install mineru[core]然后下模型。国内网络建议显式指定 modelscope 源模型路径下载完会自动写进配置文件mineru-models-download -s modelscope -m all注意这条命令必须在联网机跑它只能从远端源拉取。就算你本地设了 local 模式它也只会临时切回远端源去下载下载完自动恢复。接着把 Python 依赖缓存成离线包pip download mineru[core] -d offline_deps这里有个容易踩的坑联网机和离线机的系统架构、Python 小版本、CUDA 环境要对齐。torch 这种包是平台相关的在 Mac 上缓的 wheel 搬到 Linux 上装不了。两边分工对照环节联网机做离线机做模型mineru-models-download下载只读本地目录依赖pip download缓 wheels--no-index安装网络需要外网全程无外网离线机把环境装进内网把模型目录、offline_deps、源码目录传进内网U 盘、内网文件服务器都行然后离线安装pip install --no-index --find-linksoffline_deps mineru[core]如果内网有内部 PyPI 源也可以换成从源码装pip install --no-index --find-linksoffline_deps -e .[core]这一步通过后先别急着解析文档跑一下mineru --version确认命令行入口正常。想走 Docker 的话思路一样在联网机上把官方构建流程跑完参考 docker/compose.yaml官方 Dockerfile 就是先装包、再下载模型、再镜像固化然后docker save导出镜像、传进内网docker load导回容器起来后挂上模型卷即可。镜像里装好模型这一步等于把模型下载提前到了联网侧。模型指向本地三个配置这是整个离线部署里最关键的三处改完 MinerU 才彻底和断网和解。1.model-source设为local是什么告诉 MinerU 别再去模型仓库找东西为什么不设的话首次运行会尝试探测 huggingface/modelscope断网机上就是干等超时在哪改用户目录下的mineru.json模板见仓库根目录的 mineru.template.json2.models-dir指向实际模型路径是什么pipeline 和 vlm 两组模型各自的落盘位置为什么模型文件夹你搬去哪这里就要指到哪在哪改同一个mineru.json结构如下{ model-source: local, models-dir: { pipeline: /data/models/pipeline, vlm: /data/models/vlm } }3. 环境变量MINERU_MODEL_SOURCElocal是什么优先级高于配置文件的模型源开关为什么多用户、多服务部署时环境变量比散落在各用户目录里的配置文件更可控在哪改shell 环境或容器启动参数里写一次对当前会话生效其他配置项公式、表格开关等默认值就能用需要细调时查 docs/ 里的环境变量说明。跑通第一份 PDF配置改完用仓库自带的演示文件试刀mineru -p demo/pdfs/demo1.pdf -o output跑完到output里看生成的 Markdown。中文文档建议加-l ch提升 OCR 准确率后端默认是 hybrid显存紧张就换-b pipeline这条后端不依赖大模型对配置要求最友好。看到版面、表格、公式都被正确切分出来离线环境就算真正立住了。四个高频坑1. 首次运行卡住半天没动静现象命令执行后长时间无输出原因model-source还是 auto在探测外网模型源处理配置文件里写死local或export MINERU_MODEL_SOURCElocal2. 报模型文件找不到现象models-dir相关的路径报错原因模型文件夹搬了位置配置里的路径没跟上处理ls确认实际路径回填到mineru.json3. 依赖装到一半缺包现象--no-index安装时提示找不到某个包的候选版本原因联网机缓存 wheel 时用的 Python 版本和离线机不一致处理在同版本 Python 的联网机上重新pip download一遍4. 渲染出的图片里中文变方块现象输出图片或预览里中文全是豆腐块原因系统缺 CJK 字体处理装fonts-noto-cjkfc-cache -fv刷新字体缓存更多参数行为以 mineru/utils/cli_parser.py 和官方文档为准遇到怪问题先看日志再猜。上线前的三件事换一份真实业务文档复测拿客户实际会投喂的 PDF扫描版、带表格的优先再跑一次记下耗时和峰值内存这才是交付基线多机复制时只搬三样东西模型目录、离线 wheels、mineru.json。路径不同就只改配置模型和包不动模型升级走增量流程联网机重跑mineru-models-download同路径下是增量更新对比新旧模型目录后整体替换别在离线机上手工拷散文件深入细节去官方文档docs/ 的模型源说明讲了local模式的完整行为模型下载逻辑在 mineru/cli/models_download.py 里容器编排参考 docker/compose.yaml。断网环境的部署做到这一步够稳了。【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表