前言本文我们介绍另外一种部署本地知识库的方案Ollama MaxKB相对来说容易安装且功能较完善30 分钟内即可上线基于本地大模型的知识库问答系统并嵌入到第三方业务系统中。缺点是如果你的电脑配置不高问题回答响应时间较长。下图为 MaxKB 的产品架构实现原理上仍然是应用了 RAG 流程安装 MaxKB首先我们通过 Docker 安装 MaxKBdocker run-d--namemaxkb-p8080:8080-v~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb注意这里镜像源是 china mainland走代理的镜像会下载失败。安装成功后访问http://localhost:8080/ 登录初始账号为用户名:admin 密码:MaxKB123..进入系统后是这样的配置模型接下来我们进行最重要的模型配置可以看到有许多模型的供应商这里你可以通过 API key 在线去连接大模型API key 不同的模型厂商有不同的申请地址这种方式不是本文采用的方式本文我们将把通过 Ollama 本地部署的 Qwen2 大模型配置到 MaxKB所以第一步我们添加模型选择 Ollama第二步配置模型在模型添加界面有几个点要注意下图是修改界面和添加界面差不多模型名称和基础模型一定要和你在ollama list中显示的一样不然可能会导致没有必要的重复下载和连接失败API 域名因为 MaxKB 是 Docker 部署的Ollama 是本机部署的不在一个网络环境所以要填 http://host.docker.internal:11434API Key 随便写什么都行创建知识库模型添加完成就可以创建知识库了。这个比较简单通过界面功能自己就能搞定我就不多说了这里比较好的是MaxKB 支持选择文件夹这一点 AnythingLLM 就不行不过一次上传文件数量有限“支持格式TXT、Markdown、PDF、DOCX、HTML 每次最多上传50个文件每个文件不超过 100MB 若使用【高级分段】建议上传前规范文件的分段标识创建应用知识库创建完就可以创建应用进行问答了这里注意除了要为应用添加知识库外还要进行一下参数设置我选择的是第二项因为我的知识库数据量较小设置完成后点击演示问答效果展示这里不太好的是没有同时展示引文更不用说引文的预览了实际上这个功能基本上是企业应用上的刚需嵌入第三方应用嵌入三方应用的需求也是比较常见的比如你可以通过 iframe 或者 js 代码的形式嵌入到你现有的系统中我们经常看到一些网站右下角的浮窗就是这种形式在 MaxKB 中支持嵌入三方应用需要在应用的 “概览” 中点击 “嵌入第三方”剩下的你只需要把代码集成到你的其他应用中就可以了思考学习新知识最好的方式就是直接去应用它你可能从来都不知道什么是 RAG但对相关知识有个大概了解后通过实践亲自搭建几个可以 run 起来的应用那些架构里的结构、名词逐渐全部都能对应得上了。我笔记本的配置有限如果所有的东西都部署在配置有性能强较的显卡的服务器上那么就可以满足企业级应用的需求了企业可以直接完成私有化部署并开始应用。最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 【AI大模型】RAG 实践- Ollama+MaxKB 部署本地知识库
前言本文我们介绍另外一种部署本地知识库的方案Ollama MaxKB相对来说容易安装且功能较完善30 分钟内即可上线基于本地大模型的知识库问答系统并嵌入到第三方业务系统中。缺点是如果你的电脑配置不高问题回答响应时间较长。下图为 MaxKB 的产品架构实现原理上仍然是应用了 RAG 流程安装 MaxKB首先我们通过 Docker 安装 MaxKBdocker run-d--namemaxkb-p8080:8080-v~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb注意这里镜像源是 china mainland走代理的镜像会下载失败。安装成功后访问http://localhost:8080/ 登录初始账号为用户名:admin 密码:MaxKB123..进入系统后是这样的配置模型接下来我们进行最重要的模型配置可以看到有许多模型的供应商这里你可以通过 API key 在线去连接大模型API key 不同的模型厂商有不同的申请地址这种方式不是本文采用的方式本文我们将把通过 Ollama 本地部署的 Qwen2 大模型配置到 MaxKB所以第一步我们添加模型选择 Ollama第二步配置模型在模型添加界面有几个点要注意下图是修改界面和添加界面差不多模型名称和基础模型一定要和你在ollama list中显示的一样不然可能会导致没有必要的重复下载和连接失败API 域名因为 MaxKB 是 Docker 部署的Ollama 是本机部署的不在一个网络环境所以要填 http://host.docker.internal:11434API Key 随便写什么都行创建知识库模型添加完成就可以创建知识库了。这个比较简单通过界面功能自己就能搞定我就不多说了这里比较好的是MaxKB 支持选择文件夹这一点 AnythingLLM 就不行不过一次上传文件数量有限“支持格式TXT、Markdown、PDF、DOCX、HTML 每次最多上传50个文件每个文件不超过 100MB 若使用【高级分段】建议上传前规范文件的分段标识创建应用知识库创建完就可以创建应用进行问答了这里注意除了要为应用添加知识库外还要进行一下参数设置我选择的是第二项因为我的知识库数据量较小设置完成后点击演示问答效果展示这里不太好的是没有同时展示引文更不用说引文的预览了实际上这个功能基本上是企业应用上的刚需嵌入第三方应用嵌入三方应用的需求也是比较常见的比如你可以通过 iframe 或者 js 代码的形式嵌入到你现有的系统中我们经常看到一些网站右下角的浮窗就是这种形式在 MaxKB 中支持嵌入三方应用需要在应用的 “概览” 中点击 “嵌入第三方”剩下的你只需要把代码集成到你的其他应用中就可以了思考学习新知识最好的方式就是直接去应用它你可能从来都不知道什么是 RAG但对相关知识有个大概了解后通过实践亲自搭建几个可以 run 起来的应用那些架构里的结构、名词逐渐全部都能对应得上了。我笔记本的配置有限如果所有的东西都部署在配置有性能强较的显卡的服务器上那么就可以满足企业级应用的需求了企业可以直接完成私有化部署并开始应用。最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】