问答-论文
论文一基于 Flask Web 的中华心法问答系统 设计与实现一、项目开发背景1. 行业与文化背景中华心法包含修身、处世、心性修养等传统哲学智慧是中华传统文化核心内容之一。当下传统文化复兴热潮下大众学习需求持续上涨但现有传播载体存在明显短板传播形式老旧依靠纸质书籍、线下讲座无法随时随地检索提问缺少专业问答平台市面上通用问答系统面向百科、教育没有针对传统文化心法定制的内容管理体系检索精度低普通网站仅关键词匹配无法理解文字背后深层语义同义问题检索不到答案内容质量难管控用户自主上传传统文化内容易出现解读偏差、重复内容缺少分级审核、专家复核流程多媒体资源存储压力大心法讲解视频、古籍文档、图文素材本地存储成本高、加载缓慢。2. 技术背景Python Flask 轻量 Web 框架上手简单、拓展丰富适合中小型知识类系统快速开发BERT 预训练模型、jieba 分词成熟落地低成本实现中文语义检索云对象存储腾讯云 COS可低成本存放音视频、文档等非结构化文件MySQLORM 模型简化数据库操作搭配 Redis 缓存可提升并发访问性能。二、整体技术栈总览后端Flask 2.0.1、Python3.8、MySQL8.0、Flask-SQLAlchemyORM、Flask-Login、Flask-Migrate、Redis 缓存、Gunicorn前端HTML5CSS3 原生 JS、Bootstrap 响应式、CSS 自定义国风主题变量NLP 智能模块jieba 中文分词、停用词过滤、BERT 预训练模型、余弦相似度算法存储 部署腾讯云 COS 对象存储、Nginx 反向代理、Ubuntu Linux 服务器二、各模块技术点1. 用户权限模块Flask-Login 会话管理、Werkzeug 密码哈希、自定义角色装饰器ORM 用户表区分普通用户 / 管理员 / 专家细分分类审核权限。2. 内容审核模块Flask 接口接收问答 / 视频 / 文章SQL 分待审、正式双表查重接口、专家升级审核事务保证数据一致性secure_filename 安全处理上传文件软删除回收站。3. 分类标签模块SQL 自关联树形分类BERT 余弦相似度自动匹配标签用户自定义私人标签多对多 ORM 绑定内容与标签。4. 智能搜索模块核心jieba 分词 停用词过滤BERT 生成文本向量余弦相似度计算语义匹配语义分数 专家评分加权排序多标签分页筛选。jieba 分词把一句话拆成单个词语比如 “内心焦虑怎么办” 拆出焦虑、内心停用词过滤删掉 “的、吗、怎么” 这种没用的字减少干扰BERT 向量把文字转换成一串数字意思相近的文字数字也接近余弦相似度对比提问和库里所有问答的数字算出像不像混合打分算法相似度 专家人工打分各占一半结果越贴合排越前面。5. 腾讯云 COS 存储模块COS SDK 云端上传音视频文档UUID 防重命名CDN 加速访问后端代理接口实现文档在线预览数据库仅存文件链接。论文二基于增量更新的中华心法问答系统研究一、项目背景1. 业务背景中华心法是修身、养心类传统文化知识需要线上问答平台供人查询解惑。平台会持续新增心法问答资料新知识不断增加。2. 现有痛点普通 BERT、BGE 语言模型有致命问题每次新增大量知识必须把全部新旧数据一起重新完整训练只学新内容时会把之前学到的旧心法知识忘掉灾难性遗忘重训耗时、耗显卡算力更新成本极高。3. 项目目标搭建支持增量更新的心法问答系统采用 LAUR 持续学习模型不用每次全量重训新增数据只做增量训练同时保住旧知识不遗忘提升语义检索、问答分类准确度。二、基础底层技术两大基础模型1. BERT 模型作用基础语义提取工具把文字转换成数字向量让电脑看懂句子含义技术逻辑双向 Transformer 结构同时看上下文是所有 NLP 任务通用骨干网络短板单独增量训练会严重遗忘旧知识。2. BGE 嵌入模型技术 1 RetroMAE 预训练刻意加大文字还原难度让模型学到更深层整体语义检索更准技术 2 自知识蒸馏模型自己训练自己同时产出关键词、语义多维度向量适配问答搜索场景。三、核心 LAUR 增量模型两大模块项目核心技术模块 1自适应不确定性正则化保护旧知识整体作用区分 AI 里哪些参数存着老心法知识把关键记忆锁住不让新数据覆盖。不确定性打分 普通模型参数只是一个数字这个模型给每块记忆打分分数越低 这段旧知识越重要不能随便改。UR1 弹性约束 同时兼顾多层记忆重要参数严格限制改动幅度避免旧心法内容被冲掉。UR2 稀疏引导 让有用的记忆数值突出没用的自动弱化。UR3 稳定打分机制 防止打分数值乱飘如果打分全部失效就分不清哪些是重要旧知识整套保护功能报废。动态学习率控制 一旦发现某段重要记忆分值变差自动放慢修改速度牢牢锁住旧知识。模块 2并行残差适应单独通道学新知识不碰老记忆整体作用专门开一条独立小路学新增问答不动存储旧知识的主干道互不干扰。降维简化新数据减少计算压力低维学习在独立通道单独学习新增的心法问答升维把简化后的信息还原成标准格式融合旧知识 新知识合并输出结果。 新旧知识分开储存学新的完全不会洗掉以前记住的内容。