前言将开源的大语言预训练模型部署到用户设备上进行推理应用特别是结合用户专业领域知识库构建AI应用让AI在回答时更具有专业性目前已经有很多成熟的应用方案。其中支持大模型本地化部署的平台及工具很多比较出名的有ollama、vLLM、LangChain、Ray Serve等大大简化了模型的部署工作并提供模型全生命周期管理。对应地需要知识库构建的相应工具能处理各种格式doc/pdf/txt/xls等的各种文档能够直接读取文档并处理大量信息资源包括文档上传、自动抓取在线文档然后进行文本的自动分割、向量化处理来实现本地检索增强生成RAG等功能。这类工具主要有RAGFlow、MaxKB、AnythingLLM、FastGPT、Dify 、Open WebUI 等。本文将采用ollama RAGFlow方式进行搭建系统架构如下1 安装ollamaollama是一个开源的大型语言模型服务工具旨在帮助用户在本地环境中部署和运行大型语言模型其核心功能是提供一个简单、灵活的方式将这些复杂的AI模型从云端迁移到本地机器上简化大型语言模型在本地环境中的运行和管理。它不仅为开发者提供了一个强大的平台来部署和定制AI模型而且也让终端用户能够更加私密和安全地与这些智能系统进行交互。(1)执行如下命令安装curl-fsSL https://ollama.com/install.sh|sh在安装过程中ollama会识别相应的GPU加速卡若未识别相应设备则使用CPU模式GPU模式“NVIDIA GPU installed”CPU模式“No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode”(2)安装后查看ollama状态sudo systemctl status ollama(3)设置ollama环境变量sudo vi/etc/systemd/system/ollama.service增加Environment”OLLAMA_HOST0.0.0.0:11434”否则后面在RAGFlow容器环境下配置连接时无法连接ollama.# 修改并重启服务sudo systemctl daemon-reloadsudo systemctl restart ollama.service sudo systemctl status ollama.service2 部署千问大模型(1) 模型下载与docker类似可以通过ollama pull 命令进行预训练模型下载目前ollama已支持许多大模型可以通过访问https://ollama.com/library获取相关信息。这里使用ollama run qwen2.5:7b当本地没有qwen2.5:7b预训练模型时ollama将先下载模型到本地然后运行该模型。测试运行正常可进行问答测试。基于ollama的千问7b大模型部署完毕。3 安装RAGFlowRAGFlow 是一款基于深度文档理解构建的开源 RAGRetrieval-Augmented Generation引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程结合大语言模型LLM针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。RAGFlow部署采用的是docker容器化部署因组件较多使用了多个容器需要通过docker compose进行多容器部署方式。(1)执行如下命令克隆RAGFlow仓库#参考官方手册https://ragflow.io/docs/dev/进行操作即可git clone https://github.com/infiniflow/ragflow.git cd ragflow git checkout-f v0.14.12修改docker子目录下的.env文件进行初始化配置这里特别要注意的是在初始化环境变量里RAGFLOW_IMAGE环境变量指向的是标签为v0.14.1-slim镜像文件该镜像未打包embedding models我这里修改为v0.14.1。其他变量参数包括相关组件的端口应用的用户初始化密码、镜像下载地址等按需进行调整和设置。vi docker/.env注释掉84行使用第87行。3进入ragflow目录使用docker compose启动应用进入 docker 文件夹利用编译好的 Docker 镜像启动服务器将开始将镜像下载到本地并完成启动cd ragflow docker compose-f docker/docker-compose.yml up-d4查看ragflow相关组件及启动情况docker images docker compose images docker logs-f ragflow-server4 配置RAGFlow-接入本地大模型In your web browser, enter the IP address of your server and log in to RAGFlow.With the default settings, you only need to enter http://IP_OF_YOUR_MACHINE (sans port number) as the default HTTP serving port 80 can be omitted when using the default configurations.在这里输入本机地址因没更改默认端口即80,进入如下界面第一次需要进行注册并登录。完成注册登录后进入如下页面将页面调整为中文。点击图像进入如下界面配置模型提供商这里默认为各种在线大模型供应商模型接入但需要你去相应的模型供应商申请API key填入。这里我们配置接入本地部署的ollama管理的大模型添加成功后显示如下5 配置RAGFlow-创建知识库进行初始化配置后点击保存。上传个人相关知识文档等由系统进行解析处理。点击新增文件上传相关文档。可以当前选择也可以拖拽文件夹点击解析系统将对上传文档进行文本识别图片类文档、分割、向量化处理。由于个人笔记本性能问题这里只做简单测试不做大规模文档入库。解析完成后进行检索测试。这里从王国维的东山杂记里尝试检索柳如是的信息。可以看到向量化后的资料库里已经有了柳如是的信息但切片不完整。由此可见在进行资料入库时需要有针对性的辅助切片标注等。另外也可能跟文言文有关系。6 智能体应用测试建立一个特定专业的智能体Agent,相当于你的一个数字健身赋于它一个角色(role)制定提示词Prompt,设置自由度温度等。1新建助理角色设定及提示词设置使用本地千问大模型并结合知识库内容进行回答设定自由度为“精确”下面开始问题测试先只用本地千问大模型进行问答测试我问他灶神是谁千问没有正面回答我的问题。尝试追问灶神具体是谁我让千问从王国维的《东山杂记》里找答案AI开始胡说八道了大模型幻觉病发作。再通过本地千问大模型结合本地知识库进行问答测试该智能助理很快从本地知识库中找到了准确的答案。可以看到在专业知识库下回答的问题更有特定性。但总的来看人工智能对文言文的理解还是较白话文差一些。通过RAGFlow可以建立不同领域的个人知识库及智能体本文演示了如何结合AI大模型和知识库进行RAG。附古之灶神古之灶神《淮南子》以为炎帝戴圣及贾逵、许慎皆以为祝融。郑康成据《礼器》文以为灶老妇之祭其注《礼器》云“老妇先炊者也以礼意求之”。郑说为近。然臧文仲燔柴于爨郑君云“时人以为祭火神乃燔柴”。则周时已有以祀神者至后世祀司命盖已三变。观李少君以祠灶、偲道、却老方见武帝则汉初方士或已为此说矣。王国维.《东山杂记》最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 【AI大模型部署】利用ollama + RAGFlow部署千问大模型构建个人知识库AI智能体应用
前言将开源的大语言预训练模型部署到用户设备上进行推理应用特别是结合用户专业领域知识库构建AI应用让AI在回答时更具有专业性目前已经有很多成熟的应用方案。其中支持大模型本地化部署的平台及工具很多比较出名的有ollama、vLLM、LangChain、Ray Serve等大大简化了模型的部署工作并提供模型全生命周期管理。对应地需要知识库构建的相应工具能处理各种格式doc/pdf/txt/xls等的各种文档能够直接读取文档并处理大量信息资源包括文档上传、自动抓取在线文档然后进行文本的自动分割、向量化处理来实现本地检索增强生成RAG等功能。这类工具主要有RAGFlow、MaxKB、AnythingLLM、FastGPT、Dify 、Open WebUI 等。本文将采用ollama RAGFlow方式进行搭建系统架构如下1 安装ollamaollama是一个开源的大型语言模型服务工具旨在帮助用户在本地环境中部署和运行大型语言模型其核心功能是提供一个简单、灵活的方式将这些复杂的AI模型从云端迁移到本地机器上简化大型语言模型在本地环境中的运行和管理。它不仅为开发者提供了一个强大的平台来部署和定制AI模型而且也让终端用户能够更加私密和安全地与这些智能系统进行交互。(1)执行如下命令安装curl-fsSL https://ollama.com/install.sh|sh在安装过程中ollama会识别相应的GPU加速卡若未识别相应设备则使用CPU模式GPU模式“NVIDIA GPU installed”CPU模式“No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode”(2)安装后查看ollama状态sudo systemctl status ollama(3)设置ollama环境变量sudo vi/etc/systemd/system/ollama.service增加Environment”OLLAMA_HOST0.0.0.0:11434”否则后面在RAGFlow容器环境下配置连接时无法连接ollama.# 修改并重启服务sudo systemctl daemon-reloadsudo systemctl restart ollama.service sudo systemctl status ollama.service2 部署千问大模型(1) 模型下载与docker类似可以通过ollama pull 命令进行预训练模型下载目前ollama已支持许多大模型可以通过访问https://ollama.com/library获取相关信息。这里使用ollama run qwen2.5:7b当本地没有qwen2.5:7b预训练模型时ollama将先下载模型到本地然后运行该模型。测试运行正常可进行问答测试。基于ollama的千问7b大模型部署完毕。3 安装RAGFlowRAGFlow 是一款基于深度文档理解构建的开源 RAGRetrieval-Augmented Generation引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程结合大语言模型LLM针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。RAGFlow部署采用的是docker容器化部署因组件较多使用了多个容器需要通过docker compose进行多容器部署方式。(1)执行如下命令克隆RAGFlow仓库#参考官方手册https://ragflow.io/docs/dev/进行操作即可git clone https://github.com/infiniflow/ragflow.git cd ragflow git checkout-f v0.14.12修改docker子目录下的.env文件进行初始化配置这里特别要注意的是在初始化环境变量里RAGFLOW_IMAGE环境变量指向的是标签为v0.14.1-slim镜像文件该镜像未打包embedding models我这里修改为v0.14.1。其他变量参数包括相关组件的端口应用的用户初始化密码、镜像下载地址等按需进行调整和设置。vi docker/.env注释掉84行使用第87行。3进入ragflow目录使用docker compose启动应用进入 docker 文件夹利用编译好的 Docker 镜像启动服务器将开始将镜像下载到本地并完成启动cd ragflow docker compose-f docker/docker-compose.yml up-d4查看ragflow相关组件及启动情况docker images docker compose images docker logs-f ragflow-server4 配置RAGFlow-接入本地大模型In your web browser, enter the IP address of your server and log in to RAGFlow.With the default settings, you only need to enter http://IP_OF_YOUR_MACHINE (sans port number) as the default HTTP serving port 80 can be omitted when using the default configurations.在这里输入本机地址因没更改默认端口即80,进入如下界面第一次需要进行注册并登录。完成注册登录后进入如下页面将页面调整为中文。点击图像进入如下界面配置模型提供商这里默认为各种在线大模型供应商模型接入但需要你去相应的模型供应商申请API key填入。这里我们配置接入本地部署的ollama管理的大模型添加成功后显示如下5 配置RAGFlow-创建知识库进行初始化配置后点击保存。上传个人相关知识文档等由系统进行解析处理。点击新增文件上传相关文档。可以当前选择也可以拖拽文件夹点击解析系统将对上传文档进行文本识别图片类文档、分割、向量化处理。由于个人笔记本性能问题这里只做简单测试不做大规模文档入库。解析完成后进行检索测试。这里从王国维的东山杂记里尝试检索柳如是的信息。可以看到向量化后的资料库里已经有了柳如是的信息但切片不完整。由此可见在进行资料入库时需要有针对性的辅助切片标注等。另外也可能跟文言文有关系。6 智能体应用测试建立一个特定专业的智能体Agent,相当于你的一个数字健身赋于它一个角色(role)制定提示词Prompt,设置自由度温度等。1新建助理角色设定及提示词设置使用本地千问大模型并结合知识库内容进行回答设定自由度为“精确”下面开始问题测试先只用本地千问大模型进行问答测试我问他灶神是谁千问没有正面回答我的问题。尝试追问灶神具体是谁我让千问从王国维的《东山杂记》里找答案AI开始胡说八道了大模型幻觉病发作。再通过本地千问大模型结合本地知识库进行问答测试该智能助理很快从本地知识库中找到了准确的答案。可以看到在专业知识库下回答的问题更有特定性。但总的来看人工智能对文言文的理解还是较白话文差一些。通过RAGFlow可以建立不同领域的个人知识库及智能体本文演示了如何结合AI大模型和知识库进行RAG。附古之灶神古之灶神《淮南子》以为炎帝戴圣及贾逵、许慎皆以为祝融。郑康成据《礼器》文以为灶老妇之祭其注《礼器》云“老妇先炊者也以礼意求之”。郑说为近。然臧文仲燔柴于爨郑君云“时人以为祭火神乃燔柴”。则周时已有以祀神者至后世祀司命盖已三变。观李少君以祠灶、偲道、却老方见武帝则汉初方士或已为此说矣。王国维.《东山杂记》最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】