0707——知识库构建
1工程级知识库标准处理流程多数据源接入→数据清洗结构化→分层知识存储→增量同步→权限分级检索→API 服务化→运维监控2整体架构数据源层 → 数据 ETL 清洗结构化层 → 双库存储结构化数据库 向量知识库 → 检索融合层关键词 向量 重排 → 权限 接口服务层 → 前端交互 运维后台数据源——结构化主数据源、非结构化补充数据、外部补充数据ETLExtract, Transform, Load数据清洗结构化——数据抽取直连数据库、API接口拉取、批量导入、爬取数据清洗去重、脱敏、补全、格式统一分层结构化MySQL/PostgreSQL结构化数据库、文本知识库【文档可打标签】、向量知识库【把无法用 SQL 精准查询的长文本、段落、政策条文、模糊语义内容向量化存入向量库】双库存储——能精准匹配的走数据库模糊语义理解的走向量 RAG增量更新机制——新增文件只解析新文档新增向量入库修改旧文档删除向量库内该文档对应旧向量插入新向量化片段删除数据按文档 ID 精准删除对应向量不做全量重建定时任务每日凌晨同步教务系统增量学生数据增量写入数据库不影响白天服务检索链路升级——多路召回关键词检索、向量语义检索、SQL精准查询、结果合并去重、Rerank重排服务化封装与部署运维迭代与治理