之前尝试在本地搭建一个能处理私有文档的智能助手要么被复杂的模型部署劝退要么被高昂的API调用成本吓退。直到将 Ollama 和 Dify 组合使用才发现原来零成本、高效率的本地知识库方案离我们如此之近。本文将手把手带你完成从零到一的完整部署无论你是想学习大模型应用开发还是希望为团队构建一个安全的内部知识问答系统这套方案都能让你在10分钟内跑通核心流程并掌握后续的深度定制能力。1. 背景与核心概念为什么是 Ollama Dify在深入动手之前我们先厘清几个核心概念理解这个组合为何能成为当前搭建本地知识库的“黄金搭档”。大模型Large Language Model, LLM如 GPT、Llama、通义千问等它们是能够理解和生成人类语言的人工智能模型。要使用它们通常有两种方式一是调用云服务商的API如 OpenAI但存在数据出境、持续付费的问题二是在本地部署这对算力和技术门槛要求较高。Ollama它的出现完美解决了本地部署大模型的复杂度问题。你可以把它理解为一个“本地大模型管理器和运行引擎”。它通过简单的命令行工具就能一键下载、运行和管理多种开源大模型如 Llama 3、Qwen、DeepSeek 等。它负责最复杂的模型加载、推理优化工作为我们提供了一个极其简单的本地模型调用接口。Dify如果说 Ollama 提供了“大脑”那么 Dify 就是构建AI应用的“身体和手脚”。它是一个开源的 LLM 应用开发平台提供了可视化的界面让你无需编写复杂代码就能通过拖拽方式构建基于大模型的应用程序例如聊天机器人基于知识库的智能问答。文本生成文案创作、摘要总结。工作流将多个AI能力串联成复杂业务流程。本地知识库指将企业或个人的私有文档如PDF、Word、TXT、网页进行处理后让大模型能够基于这些文档内容进行精准问答而不再仅仅依赖其训练时的通用知识。这确保了答案的准确性、专业性和数据安全性。组合优势完全本地化模型运行、知识库处理、问答交互全部在本地环境数据不出私域安全可控。零API成本使用开源模型无需支付任何按次计费的API调用费用。低技术门槛Ollama 简化了模型部署Dify 提供了可视化开发两者都支持 Docker 部署极大降低了入门难度。功能强大Dify 支持多模型切换、RAG检索增强生成知识库、可编排的工作流能满足从简单问答到复杂应用的需求。接下来我们将从环境准备开始一步步实现这个组合的部署。2. 环境准备与版本说明为了确保教程的通用性和可复现性我们选择最主流且跨平台的支持方案。请注意以下版本会随时间更新核心操作逻辑不变。操作系统Windows 10/11, macOS, 或 Linux (Ubuntu 22.04)。本文将以Windows环境为主进行演示其他系统操作类似。Docker 与 Docker Compose这是部署 Dify 的推荐方式。请确保你的系统已安装 Docker Desktop 或 Docker Engine。检查安装打开终端Windows 下为 PowerShell 或 CMD运行docker --version和docker-compose --version或docker compose version确认版本。如果未安装请访问 Docker 官网下载 Docker Desktop 进行安装。Ollama我们将直接从其官网下载安装包。硬件要求内存至少 8GB RAM。如果运行 7B 参数模型建议 16GB运行 13B 或更大模型建议 32GB 或以上。存储至少 10GB 可用空间用于存放模型和知识库文档。GPU可选但推荐如果有 NVIDIA GPU 并安装了 CUDAOllama 会自动利用 GPU 加速极大提升推理速度。版本说明本文撰写时Ollama 最新版本为 v0.1.40Dify 最新版本为 v0.9.0。不同版本界面或配置可能略有差异但核心流程一致。请以官方最新文档为准。3. 第一步安装与运行 OllamaOllama 的安装过程非常简单我们同时解决国内用户可能遇到的下载慢的问题。3.1 下载与安装 Ollama访问 Ollama 官网根据你的操作系统下载对应的安装包。运行安装程序按照提示完成安装。安装完成后Ollama 通常会以服务形式在后台运行。3.2 解决模型下载慢的问题安装完成后我们尝试拉取一个模型。打开终端运行ollama run llama3.2:1b这个命令会下载并运行一个非常小的 Llama 3.2 1B 模型用于测试。但很多国内用户会发现下载速度极慢甚至失败。解决方案使用国内镜像源Ollama 支持通过环境变量配置镜像源。我们使用国内优秀的镜像站来加速。Windows右键点击“此电脑” - “属性” - “高级系统设置” - “环境变量”。在“系统变量”或“用户变量”中点击“新建”。变量名OLLAMA_HOST变量值0.0.0.0(这是为了后续让 Dify 能访问到)再次点击“新建”。变量名OLLAMA_MODELS变量值https://ollama.mryqu.com/library(这是一个可用的国内镜像库)点击“确定”保存所有更改。重要重启你的终端PowerShell/CMD甚至重启电脑以确保环境变量生效。macOS/Linux 在终端中执行以下命令或将它们添加到你的~/.bashrc或~/.zshrc文件中。export OLLAMA_HOST0.0.0.0” export OLLAMA_MODELShttps://ollama.mryqu.com/library然后执行source ~/.bashrc使配置生效。3.3 验证 Ollama 并拉取实用模型配置好镜像后再次打开终端运行测试命令ollama run llama3.2:1b这次下载速度应该会快很多。看到提示符后输入Hello模型会回复你说明 Ollama 运行成功。按CtrlD退出交互。现在我们拉取一个更实用、能力更强的模型用于后续的知识库问答。7B 参数模型在16G内存的机器上通常可以流畅运行。ollama pull qwen2.5:7b或者如果你偏好 Meta 的模型ollama pull llama3.2:3b # 3B版本对资源要求更低等待模型下载完成。你可以随时使用ollama list命令查看本地已下载的模型。保持 Ollama 运行确保 Ollama 服务在后台运行。在 Windows 上你可以在系统托盘找到它的图标。4. 第二步使用 Docker 部署 DifyDify 提供了极其方便的 Docker Compose 部署方式能一键拉起所有依赖的服务包括数据库、Redis等。4.1 获取部署文件创建一个专门的项目文件夹例如dify-local。在该文件夹中下载 Dify 的 Docker Compose 配置文件。你可以从 Dify 的 GitHub 仓库获取最新版本。这里我们直接使用curl命令Windows PowerShell 也支持或手动下载。在dify-local文件夹中打开终端执行curl -o docker-compose.yaml https://raw.githubusercontent.com/langgenius/dify/main/docker/docker-compose.yaml如果无法使用curl请浏览器访问 Dify GitHub 仓库找到docker-compose.yaml文件复制内容并本地创建。4.2 启动 Dify 服务在包含docker-compose.yaml文件的目录下执行以下命令docker-compose up -d这个命令会下载 Dify 及其依赖的 PostgreSQL、Redis 等镜像并以后台模式启动所有容器。首次启动可能需要几分钟时间下载镜像。你可以使用docker-compose logs -f命令查看实时日志等待看到应用启动成功的提示。4.3 访问并初始化 Dify打开浏览器访问http://localhost:3000。首次访问会进入初始化设置页面。设置管理员账号输入你的邮箱、用户名和密码点击“初始化”或“Sign Up”。初始化完成后使用刚才设置的账号登录你将进入 Dify 的主控制台。至此Dify 已经成功部署并运行在你的本地机器上。5. 第三步在 Dify 中配置 Ollama 模型现在我们需要让 Dify 知道如何调用我们本地运行的 Ollama 模型。5.1 获取 Ollama 的 API 地址Ollama 默认提供了一个类 OpenAI API 的接口地址是http://localhost:11434。Dify 可以通过这个地址来调用 Ollama 管理的模型。5.2 在 Dify 中添加模型供应商在 Dify 控制台点击左侧导航栏的“模型供应商”-“模型”。点击页面上的“添加模型”按钮。在模型供应商列表中找到并选择“Ollama”。如果列表中没有可以选择“OpenAI 兼容”或“自定义”因为 Ollama 的 API 与 OpenAI 是兼容的。进入配置页面模型类型选择文本生成(Text Generation)。模型名称可以自定义例如My-Ollama。模型标识这里填写你在 Ollama 中拉取的模型名称例如qwen2.5:7b。这个必须和ollama list中的名字完全一致。API 密钥Ollama 本地运行通常不需要密钥留空即可。API 基础地址这是最关键的一步。填写http://host.docker.internal:11434/v1。host.docker.internal是 Docker 容器访问宿主机服务的特殊域名。11434是 Ollama 的默认端口。/v1是 OpenAI 兼容 API 的路径。如果不在 Docker 内或遇到连接问题可以尝试http://localhost:11434/v1但这取决于你的网络配置。点击“保存”。保存后可以点击“测试”按钮如果显示“连接成功”或类似提示说明配置正确。5.3 创建模型配置添加供应商后你需要在“模型配置”中启用它。在左侧导航栏进入“模型供应商”-“模型配置”。点击“新建配置”。选择你刚刚创建的My-Ollama供应商并选择对应的模型标识如qwen2.5:7b。为这个配置起一个名字例如“本地 Qwen-7B”并保存。现在Dify 就可以使用你本地的 Ollama 模型了。6. 第四步构建你的第一个本地知识库应用核心环节来了我们将创建一个基于知识库的问答机器人。6.1 创建应用在 Dify 控制台首页点击“创建应用”。选择“对话型应用”因为我们要做问答机器人。输入应用名称例如“公司内部知识库助手”点击创建。6.2 配置应用模型进入应用构建界面后在左侧的“提示词编排”区域找到“模型”设置。点击下拉菜单选择我们刚才配置好的模型配置如“本地 Qwen-7B”。你可以根据需要调整温度Temperature、最大生成长度等参数。温度越高回答越随机创造性越低则越稳定。6.3 上传文档并创建知识库在左侧菜单栏点击进入“知识库”功能。点击“创建知识库”输入名称如“产品手册”选择适当的嵌入模型Dify 内置了text-embedding模型本地运行即可无需额外配置。创建后进入知识库详情页点击“上传文件”。将你的本地文档支持 PDF、Word、TXT、PPT、Excel、Markdown 等拖入或选择上传。你可以上传多个文件。Dify 会自动对文档进行分块、清洗和向量化处理存入向量数据库默认使用内置的向量库。处理状态会显示为“成功”。6.4 将知识库关联到应用回到你的应用构建界面。在“提示词编排”区域找到“上下文”部分。开启“知识库”开关。点击“添加知识库”选择你刚刚创建的“产品手册”知识库。你还可以设置“召回数量”每次从知识库检索多少片段和“相似度阈值”控制检索严格度。6.5 优化提示词可选但重要在“提示词”输入框中系统有一个默认提示词。为了获得更好的问答效果我们可以优化它明确告诉模型如何利用知识库。你是一个专业的助手专门回答基于我提供知识库内容的问题。 请严格遵循以下规则 1. 你的回答必须基于我提供的“知识库”内容。 2. 如果知识库中的内容能够完全回答用户问题请用清晰、有条理的方式总结并回答。 3. 如果知识库中的内容只能部分回答用户问题请基于已知部分回答并明确指出哪些信息是知识库中未提及的。 4. 如果用户的问题完全不在知识库范围内请直接告知“根据我现有的知识库我无法回答这个问题。” 知识库内容如下 {{#context#}} {{/context#}} 用户问题{{#query#}}这个提示词利用了 Dify 的变量语法{{#context#}}和{{#query#}}系统会在提问时自动将检索到的知识库片段和用户问题填入。6.6 测试与发布点击右上角的“预览”按钮在右侧的聊天窗口进行测试。问一个你上传文档中明确包含的问题例如产品手册中的某个功能点。观察模型是否能从知识库中提取正确信息来回答。测试成功后点击右上角的“发布”按钮。发布后你可以获得一个可分享的 Web 访问链接或者通过 API 集成到其他系统中。至此一个完全本地化的私有知识库问答应用就搭建完成了7. 常见问题与排查思路在部署和使用过程中你可能会遇到以下问题。这里提供系统的排查思路。问题现象可能原因排查与解决思路Ollama 模型下载极慢或失败网络连接问题默认源在国内访问不畅。1. 按本文3.2节配置OLLAMA_MODELS国内镜像源。2. 检查网络代理设置确保终端能正常访问外网或镜像站。Dify 无法连接到 Ollama (测试失败)1. API 地址错误。2. Ollama 服务未运行。3. 网络端口不通Docker 网络问题。1.确认 Ollama 运行终端执行ollama list应有输出。2.验证 API浏览器访问http://localhost:11434应显示 “Ollama is running”。3.检查 Dify 配置API 地址应为http://host.docker.internal:11434/v1。在 Windows/macOS 的 Docker Desktop 下此地址通常有效。如果无效尝试- 在宿主机终端用curl http://localhost:11434/v1/models测试 Ollama API。- 如果宿主机可通但 Dify 容器内不通可能是 Docker 网络问题。尝试在 Dify 配置中使用宿主机的实际 IP 地址代替localhost。知识库问答时模型回答“不知道”或胡言乱语1. 知识库未成功关联或未命中。2. 提示词未正确引导模型使用上下文。3. 模型能力不足或参数需调整。1.检查知识库状态在 Dify 知识库页面确认文档处理状态为“成功”。2.检查关联在应用编排页面确认已开启“知识库”开关并选中了正确的知识库。3.优化提示词使用类似6.5节的强引导提示词明确要求模型基于{{#context#}}回答。4.调整检索参数尝试增加“召回数量”或降低“相似度阈值”让更多相关知识被检索出来。5.尝试不同模型换一个能力更强的模型如qwen2.5:7b-qwen2.5:14b。Dify 启动失败或访问localhost:3000报错1. 端口被占用。2. Docker 服务未启动。3. 镜像拉取失败。1.检查 Docker确保 Docker Desktop 或 Docker Daemon 正在运行。2.检查端口运行docker-compose ps查看容器状态。确保没有其他程序占用 3000、5432PostgreSQL、6379Redis端口。3.查看日志运行docker-compose logs -f dify-web查看 Web 服务具体错误信息。4.重新拉取尝试docker-compose down然后docker-compose pull最后docker-compose up -d。上传文档后知识库处理一直“进行中”或失败1. 文档格式复杂或损坏。2. 嵌入模型加载问题。3. 系统资源不足。1.检查文档尝试上传一个简单的纯文本.txt文件测试。2.查看处理日志在 Dify 知识库的“索引日志”中查看具体错误。3.重启服务有时重启 Dify 相关容器可以解决临时问题docker-compose restart dify-worker。8. 最佳实践与进阶建议当你成功跑通基础流程后以下建议可以帮助你将这个本地知识库系统用得更好、更稳。8.1 模型选择与优化量力而行根据你的硬件选择模型大小。7B 模型是性能与资源消耗的较好平衡点。如果回答速度慢可以尝试 3B 或更小的模型。尝试量化模型Ollama 支持 GGUF 量化格式的模型如qwen2.5:7b-instruct-q4_K_M。量化能在几乎不损失精度的情况下显著降低内存占用和提高推理速度。多模型配置在 Dify 中可以为不同应用配置不同的模型。例如为创意写作应用配置一个“高温度”的模型为严谨问答配置一个“低温度”的模型。8.2 知识库构建技巧文档预处理上传前尽量保证文档清晰、结构良好。对于扫描版 PDF最好先进行 OCR 文字识别。杂乱的数据会导致检索质量下降。分块策略Dify 有默认分块大小和重叠度。对于技术文档可以适当减小分块大小如 500 字符以提高检索精度对于长篇小说可以增大分块大小。分段上传与测试不要一次性上传海量文档。先上传核心的几篇测试问答效果逐步扩充知识库便于定位问题。定期更新当源文档更新后需要在 Dify 知识库中删除旧文档并重新上传或使用其更新功能如有以确保知识的时效性。8.3 系统部署与维护数据持久化默认的 Docker Compose 配置已将数据库和向量库数据映射到本地./storage目录。定期备份这个目录防止容器重建时数据丢失。资源监控使用docker stats命令监控容器对 CPU 和内存的占用情况。大模型推理是内存密集型任务。使用 GPU 加速如果你有 NVIDIA GPU确保安装了正确的 Docker GPU 运行时并参考 Ollama 和 Dify 的官方文档配置 GPU 支持这将获得数十倍的性能提升。考虑分离部署在生产环境中可以考虑将 Ollama模型服务和 Dify应用服务部署在不同的服务器上方便独立扩缩容。8.4 安全与权限访问控制Dify 本身提供了用户管理和团队协作功能。对于内部知识库务必合理配置用户角色和权限避免敏感信息泄露。网络隔离如果部署在内网确保防火墙策略正确不要将localhost:3000或 Ollama 的11434端口暴露到公网。模型安全使用来自可信来源的模型文件如 Ollama 官方库。自行导入的模型文件需进行安全检查。通过本文的步骤你已经成功搭建了一个完全自主可控、零持续成本的本地大模型知识库系统。这套以 Ollama 和 Dify 为核心的技术栈极大地降低了 AI 应用开发的门槛让开发者能够更专注于业务逻辑和创新。接下来你可以探索 Dify 更强大的工作流功能将多个模型和工具串联起来构建更复杂的自动化智能应用。