这是《本地部署大模型》系列的第二篇。在上一篇中我们完成了 Ollama Open WebUI 的基础搭建。本文将深入进阶配置、性能优化和实战场景。一、进阶配置1.1 Ollama 配置文件详解Ollama 的配置文件位于~/.ollama/config.jsonLinux/Mac或%USERPROFILE%\.ollama\config.jsonWindows。常用配置项{ num_parallel: 4, max_loaded_models: 2, cuda: true, host: 0.0.0.0:11434 }配置项说明推荐值num_parallel并发请求数2-4根据显存调整max_loaded_models同时加载的模型数1-2显存有限时设为1cuda是否启用 CUDA 加速true有 NVIDIA 显卡时host监听地址127.0.0.1:11434仅本机1.2 环境变量配置通过环境变量可以精细控制 Ollama 的行为# Linux/Mac - 添加到 ~/.bashrc 或 ~/.zshrc export OLLAMA_HOST0.0.0.0:11434 # 监听地址 export OLLAMA_NUM_PARALLEL4 # 并发数 export OLLAMA_MAX_LOADED_MODELS2 # 最大加载模型数 export OLLAMA_KEEP_ALIVE5m # 模型保持加载时间 export OLLAMA_GPU_LAYERS33 # GPU 加速的层数-1 为全部Windows PowerShell[System.Environment]::SetEnvironmentVariable(OLLAMA_HOST, 0.0.0.0:11434, User) [System.Environment]::SetEnvironmentVariable(OLLAMA_NUM_PARALLEL, 4, User)1.3 Open WebUI 高级配置# Docker 部署时传入配置 docker run -d \ -p 3000:8080 \ -e WEBUI_AUTHtrue \ -e DEFAULT_MODELSqwen3:8b \ -e OLLAMA_BASE_URLhttp://host.docker.internal:11434 \ --add-hosthost.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ ghcr.io/open-webui/open-webui:main常用环境变量环境变量说明默认值WEBUI_AUTH是否启用用户认证trueDEFAULT_MODELS默认模型空OLLAMA_BASE_URLOllama API 地址http://localhost:11434ENABLE_SIGNUP是否允许注册true二、性能调优2.1 GPU 加速配置NVIDIA GPU# 检查驱动和 CUDA nvidia-smi nvcc --version 强制使用 GPU export CUDA_VISIBLE_DEVICES0 指定 GPU 层数-1 表示全部层都在 GPU 上 ollama run qwen3:8b --gpu-layers -1Apple Silicon (M1/M2/M3/M4)macOS 上 Ollama 会自动使用 Metal 加速。性能参考芯片内存Qwen3-8B 速度Qwen3-14B 速度M18GB~15 tokens/s不推荐M216GB~25 tokens/s~15 tokens/sM3 Pro18GB~35 tokens/s~22 tokens/sM4 Max36GB~50 tokens/s~35 tokens/s2.2 模型量化选择GGUF 格式支持多种量化级别量化级别大小8B 模型精度速度推荐场景Q2_K~2.8GB低最快资源极度受限Q3_K_M~3.5GB中低快日常轻度使用Q4_K_M~4.5GB中平衡推荐默认Q5_K_M~5.5GB中高较慢对质量有要求Q8_0~8.5GB很高很慢最高精度选择建议日常使用选Q4_K_M代码生成选Q5_K_M或更高。2.3 内存优化当显存不足时Ollama 会自动将部分层放到 CPU 中CPU offloading# 限制 GPU 层数平衡显存和内存 ollama run qwen3:8b --gpu-layers 20 查看模型层分布 ollama show qwen3:8b --modelfile三、模型管理最佳实践3.1 自定义模型通过 Modelfile 预设模型行为# Modelfile FROM qwen3:8b PARAMETER temperature 0.7 PARAMETER top_p 0.9 PARAMETER num_ctx 8192 SYSTEM 你是一个专业的全栈开发工程师。 回答问题时 先给出简明的结论 提供具体的代码示例 解释关键原理 指出常见陷阱 创建并使用# 创建自定义模型 ollama create my-dev-assistant -f Modelfile 使用自定义模型 ollama run my-dev-assistant3.2 模型存储管理# 查看已下载模型 ollama list 查看模型占用空间 du -sh ~/.ollama/models/ 删除不需要的模型 ollama rm model-name 迁移模型到其他磁盘 mv ~/.ollama/models /data/ollama-models ln -s /data/ollama-models ~/.ollama/models3.3 多模型工作流针对不同任务使用不同模型是本地部署的核心优势# 下载多个模型 ollama pull qwen3:8b # 通用助手 ollama pull qwen3-coder:7b # 代码生成 ollama pull gemma3:4b # 轻量快速任务在 Open WebUI 中可以通过设置默认模型或在每次对话时切换。四、实战RAG 知识库搭建4.1 什么是 RAGRAGRetrieval-Augmented Generation检索增强生成是一种让大模型基于你的私有文档回答问题的技术。工作流程将文档切分成小段落chunk将段落转化为向量并存储用户提问时检索最相关的段落将检索结果注入到 Prompt 中让模型基于此回答4.2 Open WebUI 内置 RAGOpen WebUI 内置了简单的 RAG 功能进入Workspace → Knowledge创建知识库上传 PDF、TXT、Markdown 等文档系统自动处理文档切分和向量化在对话中选择知识库AI 会基于文档内容回答4.3 进阶使用 LangChain 构建 RAG对于更复杂的场景可以使用 LangChain Ollama 构建自定义 RAGfrom langchain_community.llms import Ollama from langchain_community.vectorstores import Chroma from langchain_community.embeddings import OllamaEmbeddings from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.document_loaders import PyPDFLoader 1. 加载文档 loader PyPDFLoader(your_document.pdf) documents loader.load() 2. 切分文档 text_splitter RecursiveCharacterTextSplitter( chunk_size500, chunk_overlap50 ) chunks text_splitter.split_documents(documents) 3. 创建向量存储 embeddings OllamaEmbeddings(modelqwen3:8b) vectorstore Chroma.from_documents(chunks, embeddings) 4. 创建检索器 retriever vectorstore.as_retriever(search_kwargs{k: 3}) 5. 创建 RAG 链 from langchain.chains import RetrievalQA llm Ollama(modelqwen3:8b) qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, retrieverretriever, return_source_documentsTrue ) 6. 提问 result qa_chain.invoke({query: 这份文档的核心观点是什么}) print(result[result])4.4 安装依赖pip install langchain langchain-community chromadb pypdf五、API 集成与二次开发5.1 Ollama REST APIOllama 提供了标准的 REST API可以直接集成到任何应用中import requests import json 对话接口 response requests.post( http://localhost:11434/api/chat, json{ model: qwen3:8b, messages: [ {role: system, content: 你是一个技术助手}, {role: user, content: 解释一下什么是微服务} ], stream: False } ) print(response.json()[message][content])5.2 流式输出import requests import json response requests.post( http://localhost:11434/api/chat, json{ model: qwen3:8b, messages: [{role: user, content: 写一首诗}], stream: True }, streamTrue ) for line in response.iter_lines(): if line: data json.loads(line) if message in data: print(data[message][content], end, flushTrue)5.3 OpenAI 兼容接口Ollama 兼容 OpenAI API 格式可以直接使用 OpenAI SDKfrom openai import OpenAI client OpenAI( base_urlhttp://localhost:11434/v1, api_keyollama # 任意值即可 ) response client.chat.completions.create( modelqwen3:8b, messages[ {role: user, content: 你好介绍一下你自己} ] ) print(response.choices[0].message.content)这意味着所有基于 OpenAI SDK 开发的应用只需要改一行base_url就能切换到本地模型。六、常见踩坑与解决方案6.1 模型加载慢现象第一次运行模型时等待时间很长。原因模型需要从磁盘加载到内存/显存。解决设置OLLAMA_KEEP_ALIVE10m让模型保持加载更久使用--gpu-layers减少需要加载的层数使用更小的量化版本6.2 生成质量不佳现象回答不准确、重复、或答非所问。解决调整 temperature降低可减少随机性使用更大的模型14B 8B优化系统提示词给出明确的指令和格式要求使用 RAG 注入相关上下文6.3 OOM内存不足现象运行时报错out of memory。解决# 减少并发数 export OLLAMA_NUM_PARALLEL1 减少 GPU 层数 ollama run qwen3:8b --gpu-layers 10 使用更小的模型 ollama pull gemma3:4b6.4 Docker 容器无法访问 Ollama解决# 方式一使用 host 网络模式Linux docker run --network host ... 方式二确保添加了 host 映射 docker run --add-hosthost.docker.internal:host-gateway ... 方式三使用宿主机 IP docker run -e OLLAMA_BASE_URLhttp://172.17.0.1:11434 ...七、总结通过本系列两篇文章我们完成了上篇Ollama 和 Open WebUI 的概念理解多平台环境搭建基础对话和文件上传使用下篇性能调优GPU 加速、量化选择、内存优化模型管理自定义模型、版本管理RAG 知识库搭建内置 LangChainAPI 集成REST API、OpenAI 兼容接口常见问题排查