「中文优先的企业 RAG 知识库」/~f17f3Zuk1i~:/链接https://pan.quark.cn/s/0f43d26b5692为什么做 MimirQ企业知识库真正难的不是把文档向量化而是让错误可定位、策略可替换、质量可回归。MimirQ 起源于一次真实的政务知识库交付。回答出错时团队必须能判断解析是否丢了表格治理是否漏了规则切块是否破坏了语义召回是否漏掉了证据重排是否排错还是生成偏离了引用。把整条链路藏在一个“上传并开始问答”的按钮后面原型很快长期交付却难以估算、验收和治理。一条可控的企业知识流水线数据评估→场景化解析→清洗治理→业务切块→向量 / 全文索引→混合召回→重排与引用→Golden 回归真实项目先抽样评估数据统计扫描页、图片、表格、公式和版式复杂度验证解析质量并估算资源与人工成本再按材料选择解析器。复杂版式或扫描件可优先评估 MinerU / DeepDoc公式、表格与版面结构密集的材料可纳入 Docling数字原生 Office 或纯文本可从 MarkItDown 等轻量路径开始。高风险资料仍需人工校验。解析结果经脚本、规则 DSL 或插件治理后再按标题、章节、业务记录或父子关系切块而不是统一套用固定长度和重叠窗口。索引层可使用 Milvus 等向量库并组合 BM25、向量检索与重排上层应用可以是 Dify、LangGraph、PydanticAI 或一个简单 API 服务。MimirQ 不试图取代所有平台业务简单、流程稳定、低代码优先直接使用 Dify 或 RAGFlow 通常更快。希望一体化使用 DeepDoc 与 GraphRAGRAGFlow 是成熟选择。知识链路需要按业务替换、审计和回归MimirQ 将知识能力从具体聊天业务中解耦也可作为 Dify 的外部知识层。当前仓库覆盖 30 个解析后端、86 种切块策略、13 类重排器并保留固定 800 题的实测证据。数字只是实现广度核心是每一步都能检查输入输出、追溯引用与版本并用 Golden 题集守住发布质量。完整方法见企业知识流水线设计准则。最新稳定版v1.0.1。见 发布说明 与 发布索引。产品界面以下界面使用仓库内公开的政务插件演示样例生成不含生产知识库数据。知识图谱在同一画布中检索和分析实体、事件与关系。知识库管理集中查看数据集、文档、Chunk 与入库状态。Golden 回归评测标准问答、运行记录与 Recall / MRR 等指标同屏可查。系统设置集中查看依赖状态、解析能力以及模型服务接入。问答历史与证据回看检索历史会话并回看完整回答、来源与反馈入口。入库执行监控按数据集观察解析、切块、治理、导出和失败重试状态。数据治理在同一工作台完成文档预览、质量检测、清洗与标注。快速开始前置要求Docker 20.10 与 Docker Compose 2.0GNU MakeDocker 一键启动另需 Python 3.9 生成配置源码开发模式另需 Python 3.11、Node.js 20 与 pnpm 10.26至少 4 核 CPU / 16 GB RAM / 50 GB 磁盘初始化git clone --depth 1 --single-branch https://github.com/skygazer42/MimirQ.git cd MimirQ make initmake init只创建缺失的.env和web/.env.local不会覆盖已有配置。编辑.env按部署场景填写默认模型调用LLM_API_KEY必填自定义 LLMLLM_API_BASE、LLM_MODEL独立 EmbeddingEMBEDDING_API_BASE、EMBEDDING_API_KEY、EMBEDDING_MODEL启用 RerankerENABLE_RERANKER、RERANKER_API_BASE、RERANKER_API_KEY、RERANKER_MODEL自动创建首个管理员INITIAL_ADMIN_EMAIL、INITIAL_ADMIN_USERNAME、INITIAL_ADMIN_PASSWORD字段取值、独立模型服务和管理员初始化规则见模型服务与首次管理员配置。启动后如何创建数据集、上传解析、检查切块、验证检索和引用以及后续治理、评测、Dify 与运维见完整操作指南。启动方式适用场景应用运行位置Docker 一键启动推荐首次体验、服务器部署前端、API、Worker 与依赖服务均在容器中源码开发模式前后端开发、热更新调试.venv pip 运行 APIpnpm 运行 WebDocker 运行基础设施方式一Docker 一键启动make up-web make api-ping启动后访问 http://localhost:3000未预置管理员时在页面注册首个账户。首次构建、代理、生产凭据和网络配置见 Docker Compose 部署指南。停止使用make down清空持久化数据使用make docker-reset连同本项目服务镜像删除使用make docker-purge。MimirQ 固定使用独立的mimirqCompose 项目名不会把同机 Dify 当成本项目后两项不可恢复。Windows PowerShell、容器归属检查、旧版数据迁移、误删恢复和精确删除范围见 Docker Compose 部署指南。按文档类型启用可选解析器默认使用内置 DeepDoc。其他解析器仅在业务需要时启动文档场景建议解析器额外要求启动命令常规 PDF / Office / 文本内置 DeepDoc无无需额外容器PDF 转 Markdown服务器无 GPUMarkerCPUmake up-marker版面、表格与图片混合文档ETL4LLMCPUmake up-etl4llm扫描件、OCR、复杂版面PaddleOCR-VLNVIDIA GPU建议预留 10 GiBmake up-paddlevl表格、公式与图片较多的 PDFMinerU pipelineNVIDIA GPU、首次下载模型make up-mineruVLM 复杂 PDFMinerU VLMNVIDIA GPU资源占用较高make up-mineru-vlm高精度 PDF OCRolmOCRNVIDIA GPU建议 48 GiB 级显存make up-olmocr公式 / 表格 PDF 转 MarkdownMagicPDFNVIDIA GPUmake up-magicpdfPDF / 图片走外部视觉 OCRQianfan-OCR上游 URL 与 API Key本地无需 GPUmake up-qianfanocr完整参数和平台限制见 Docker Compose 部署指南 与 解析器文档。方式二源码开发Python venv pip pnpm这是常见的本地开发方式无需 Conda。FastAPI 运行在 Python.venv中Next.js 由 pnpm 启动Docker 只运行 PostgreSQL、Redis、Milvus 等基础设施make setup-hostmake setup-host会创建.venv、执行 pip 与 pnpm 依赖安装、准备解析模型并启动 Docker 基础设施。默认使用 API 进程内后台任务只需打开两个终端# 终端 1FastAPI热更新 make backend # 终端 2Next.js热更新 make web启用独立 Worker 的配置见模型服务与首次管理员配置。验证主机前后端make api-ping结束主机进程后执行make infra-down停止依赖服务。服务地址服务地址前端 UIhttp://localhost:3000API 文档High Performance Web Crawler API - Swagger UI低资源模式可使用make up-lite它用 Chroma/FAISS 替代 Milvus、免 MinIO默认不含前端适合验证 APIready与make core-e2e最小闭环。需要 UI 时另运行make web或改用make up-web。外部 LLM/Embedding 调用仍需对应模型供应商密钥。高级模型、解析器和代理配置见 .env.example。更换 Embedding 模型后必须重建已有知识库索引更多平台与 Windows 步骤见开发文档可选政务示例见插件说明。Dify 接入MimirQ 可作为 Dify 的可治理 RAG 层接入现有应用不重复实现工作流画布。当前支持两种方式External Knowledge APIDify 负责编排与生成MimirQ 负责文档治理、检索、重排、权限过滤和证据返回。Workflow HTTP 节点Dify 负责自定义路由与参数MimirQ 按指定知识范围返回证据和 Trace。Workflow HTTP 节点真实 Dify HTTP 子链已脱敏安全构造 JSON 请求 → HTTP 节点调用 MimirQ retrieval endpoint → 转换结果 → 合并知识证据。External Knowledge API真实 Dify Chatflow已脱敏绿色知识检索节点通过 External Knowledge API 调用 MimirQ再统一合并证据点击查看原图。图中的地区路由来自可选示例插件MimirQ 核心不内置地区、事项或行业规则。Dify 标准外部知识库端点为POST /api/v1/integrations/dify/retrieval可选用POST /api/v1/integrations/dify/conversation-turns回传答案、引用与会话标识。knowledge_id默认必须显式配置在DIFY_EXTERNAL_KNOWLEDGE_MAP_JSON中。配置见 .env.example部署前校验见 readiness gate实测结果见真实场景验证。核心功能对比展开查看与 Dify、RAGFlow、FastGPT、AnythingLLM 和 LangChain 的功能对比功能维度MimirQDifyRAGFlowFastGPTAnythingLLMLangChain文档解析30 种解析后端PDF、OCR、版式、表格、公式、VLMKnowledge PipelinePDF、PPT 等常见格式DeepDoc复杂版式、扫描件、MinerU / DoclingPDF、扫描件、表格、公式转 MarkdownPDF、TXT、DOCX 等文档管道Document Loaders 与第三方解析器集成切块能力86 种策略递归、语义、父子、RAPTOR、Late Chunking可视化预览通用、父子、QA 与可编排处理模板化切块支持可视化人工干预自动、手工、QA 与增强处理文档管道自动分块Text Splitters由应用代码组合检索 / 重排Milvus / FAISS / Chroma BM25 / SPLADE / ColBERT / LTR / RRF13 种重排器语义、全文、混合检索可配置 rerank多路召回 融合重排语义、全文、混合检索 RRF rerank多种向量库检索 来源引用Retriever / reranker 组件自行编排知识图谱实体、关系、事件抽取实体消解、社区发现与多跳检索通过工作流、插件或外部服务接入内建 GraphRAG通过工作流或外部服务接入通过 Agent / Tool 外接图数据库集成与自定义链路Agent / MCPLangGraph Agent、Self-RAG / CRAG / FLAREMCP client / serverFunction Calling / ReAct Agent、工具与 MCPAgentic Workflow、MCP、代码执行器Agent V2、工具、MCP 与 VM 执行No-code Agent Builder、MCP、定时任务Agents / LangGraph / MCP代码优先可视化工作流无通用节点画布专注 RAG 调试、治理页面与 API核心能力应用 / Agent 节点编排Agent 与入库 Pipeline 编排核心能力Flow 节点编排No-code Agent Builder无内建产品 UI由应用实现评测 / 治理闭环RAGAS、回归门禁、Leaderboard、显著性检验、证据审计运行日志、观测与人工标注检索测试、切块检查与引用追溯运行详情、检索调试与日志来源引用无内建 RAG 回归门禁需另接 LangSmith 或自建评测安全 GuardInputGuard / OutputGuard、PII / Secret 脱敏、SSRF 逐跳校验内容审查节点与工作流规则代码执行沙箱业务 Guard 需配置工作流内容审查与 VM 沙箱Local-first、Agent 工具权限由应用中间件与部署边界实现企业权限 / 合规文档 ACL Security Trimming、RBAC、SCIM / SSO / SAML、审计Workspace 权限企业版组织与 SSO账号与 API 鉴权细粒度合规需按部署建设ABAC RBAC团队、群组与资源权限Docker 版多用户与权限控制框架本身不提供由应用实现RAG 调试可视化切块预览、检索 Trace、重排过程、逐句引用、KG、评测看板Dataset 测试、Workflow Trace 与应用日志切块可视化、命中片段与引用知识库测试、Workflow 运行详情Workspace、来源引用与聊天 UI无内建 UI可另接观测平台Dify 外部知识库原生兼容 Dify External Knowledge API原生消费外部知识库需通过 API 适配需通过 API 适配需通过 API 适配自行实现适配器开箱方式Docker Compose / Helm完整企业 RAG 栈Docker Compose / CloudDocker Compose官方建议 4C / 16 GB / 50 GBDocker / CloudDesktop / DockerPython / JS 库需自行组装应用对比基于各项目公开版本与官方文档2026-07描述的是仓库直接提供的能力表面不是统一 benchmark。插件、商业版和后续版本可能改变结果。真实场景验证MimirQ 已用于市级政务智能问答助手覆盖 7 个区域级 1 个市级知识库。2026-07-27 使用同一固定 800 题和真实自托管模型复测五条链路最终均无失败链路成功执行准确 / 部分准确 /证据不足准确率 / 可用率证据覆盖平均 / P50 / P95MimirQ 检索直连800 / 800791 / 9 / 098.9% / 100%99.5%3.64s / 2.02s / 12.58s真实 Embedding Reranker LLM800 / 800727 / 73 / 090.9% / 100%99.7%2.59s / 1.53s / 8.15sDify HTTP → MimirQ800 / 800514 / 223 / 6364.3% / 92.1%96.3%13.15s / 12.93s / 17.33sDify External → MimirQ800 / 800502 / 232 / 6662.7% / 91.7%99.7%12.14s / 11.17s / 23.49sDify 原生知识库800 / 800309 / 287 / 20438.6% / 74.5%83.8%13.67s / 11.34s / 29.55s直连输出检索证据其他链路输出生成答案因此准确率与延迟不是严格同任务横比。Dify HTTP / External 的证据覆盖为 96.3% / 99.7%答案条款覆盖仅为 83.6% / 83.8%主要损失在 Dify 生成编排而不是 MimirQ 召回Dify 原生知识库不经过 MimirQ。并发 5 直连首轮触发 15 次配置化 admission backpressure降至并发 3 仅重试失败题后恢复为 800 / 800。MimirQ 没有加入地区、事项或题目特判不同 Embedding runtime 的多库请求由通用检索层分片处理。完整方法、指标解释与历史复测 · Dify 接入方式与真实工作流部署方式支持以下部署方式方式命令说明标准部署make up完整栈Postgres Milvus Etcd MinIO Redis API Worker标准 前端make up-web推荐首次启动自动初始化本地配置并启动完整 Web 栈轻量模式make up-liteChroma/FAISS 替代 Milvus无需 MinIO适合快速体验开发模式make infra-up仅基础设施后端/前端本地运行Helm / K8shelm install生产级部署含 HPA、PDB、CronJob、PrometheusRule解析器扩展Docker Compose 指南按需启动 CPU / GPU profile生产配置和升级顺序见 Docker Compose 指南、Helm 部署文档 和 运维手册。功能指南指南说明切片预览可视化文档分块效果与参数调整知识图谱KG 抽取、可视化与 RAG 增强文档 ACL文档级访问控制与 Security TrimmingURL 导入远程 URL 抓取与批量导入文档版本Pipeline 版本管理与回滚稀疏检索SPLADE 稀疏检索通道ColBERT 重排ColBERT 晚交互重排序RAG 优化检索效果与回答质量优化检索排障检索问题诊断SAML SSOSAML 单点登录集成快速开始从源码开发部署运维手册生产运维与排障开发自检提交前建议运行一键自检后端 前端与 CI 保持一致# 完整自检后端 lint/test 前端 lint/test make enterprise-checks # 仅后端 make verify make test # 仅前端 cd web pnpm lint pnpm test # 浏览器核心路径上传/解析/对话 UI 前端到真实后端 make test-core-browser-smoke任一部署方式启动并在网页注册账号后可将该账号写入本地.env的MIMIRQ_SMOKE_IDENTIFIER与MIMIRQ_SMOKE_PASSWORD再运行同一套知识库核心闭环门禁。它验证就绪、入库、解析与检索证据不依赖 LLM并在成功后删除临时数据集。不要在需要人工注册的环境中使用CORE_E2E_BOOTSTRAP_REGISTER1因为首个管理员创建后会关闭公开注册make core-e2e # 远程或非默认端口CORE_E2E_BASE_URLhttp://host:8000 make core-e2e已有同请求量的串行与并发负载报告时可验证并发是否真正提高批量吞吐而不只是客户端同时发起请求RAG_CONCURRENCY_BASELINE/tmp/c1.json \ RAG_CONCURRENCY_CANDIDATE/tmp/cN.json \ make rag-concurrency-gate路线图已交付能力见上方对比表。近期计划RAG 专用调试编排非通用 Agent 画布更多数据源连接器Confluence / S3 / Notion跨语言检索统一 LLM-as-JudgeG-Eval Self-Consistency路线图、功能请求与投票通过 GitHub Issues 管理。参与贡献贡献代码、报告问题或提交功能建议前请阅读 CONTRIBUTING.md。本地开发流程见快速开始提交前运行make enterprise-checks。许可证本项目采用 Apache License 2.0。第三方组件含 vendored 自 RAGFlow/DeepDoc 的代码及构建时下载的模型权重的归属声明见 NOTICE。PyMuPDF (AGPL-3.0) 说明默认 PDF 解析可能使用 PyMuPDF其协议为 AGPL-3.0 / 商业双授权。以 SaaS 形式提供服务时AGPL 网络条款可能要求公开整个组合作品的源码。需要避免该约束时请改用宽松协议的解析后端pypdf / pdfplumber。详见 NOTICE。