AnythingLLM 学习笔记本地知识库搭建指南一、为什么搭建本地知识库市面上的知识管理工具有道、为知、思源等各有优点但普遍存在几个痛点知识量累积后想借助 AI 对已有内容进行总结、问答往往需要付费。资料存在云端隐私和安全性无法保证。广告多、存储空间受限。因此选择AnythingLLM自建本地知识库理由如下开源免费、平台广支持 Windows、Linux、macOSIntel / Apple 芯片。离线可用配合本地大模型文档、向量数据全部留在本机。零代码既可做知识库检索问答也能用拖拽式工作流编排。官网https://anythingllm.com/desktop二、部署本地大模型AnythingLLM 本身不提供模型需要配置一个大脑。本地方案主流是Ollama DeepSeek安装 Ollama模型运行时默认监听11434端口。https://ollama.com/download/OllamaSetup.exe拉取模型例如ollama pull deepseek-r1:1.5b常用命令速查ollama list# 查看本地已有模型ollama runname# 启动模型对话ollamarmname# 删除模型验证ollama list能看到模型即为部署成功。内存紧张时选小参数量量化模型如 1.5b / 7b有 GPU 可选更大模型。不想折腾本地模型的用户可跳过本节直接接入在线 API。三、知识库部署及配置3.1 下载与安装前往官网按操作系统下载对应版本。macOS将AnythingLLM.app拖入Applications首次打开若提示来自互联网的 App直接确认即可。Windows按向导默认路径安装即可。安装完成后打开主界面。Download | AnythingLLM3.2 配置大语言模型LLM点击左下角设置进入设置页。左侧选择大语言模型LLM。LLM 提供商选择Ollama程序会自动识别本地已运行的模型。Ollama Base URL填http://127.0.0.1:11434。点击保存。3.3 界面偏好设置在偏好设置中调整主题与语言建议设为中文让后续操作更顺手。四、知识库使用4.1 新建工作区点击左侧号输入工作区名称后保存。工作区相互隔离各自拥有独立的对话历史、文档和权限。4.2 调整系统提示词在工作区的聊天设置里可以修改系统提示词让 AI 扮演指定角色或限定回答风格。默认提示词大致为“根据对话、相关背景以及后续问题仅基于上述信息回答用户若知识库中没有相关信息则如实说明。”-4.3 理解聊天与查询的区别模式行为适用场景聊天结合 LLM 通用知识 检索到的文档上下文作答文档没相关内容时也可能硬答通用助手、头脑风暴查询仅当命中文档上下文时才回答不命中就不答严格的知识库问答、客服4.4 上传文档并向量化喂语料上传文档支持 pdf、Office 文档、txt、音视频、csv 等格式并可分类管理。将文档拖入目标工作区系统进行分割chunking与向量化。只有向量化成功之后提问才能检索到对应内容。4.5 设置可用模型如果工作区没有勾选可用模型对话时会报错model is required。因此新建工作区后记得先在工作区设置里选定可用的模型。4.6 开始聊天提问后深度思考类模型会先展示思考过程再输出答案。每条回复都可以点击查看引用的上下文来源便于核实答案、避免幻觉。五、接入在线大模型如果想追求更强的推理能力或省去本地模型的硬件负担可以接入在线 API在 LLM 设置中把提供商切换为DeepSeek或 OpenAI 等。填入API Key聊天模型选deepseek-reasoner一类的推理模型保存。注意切换后仍需在工作区里把对话模型切换为对应的在线模型。若报错Could not respond to message. 402 Insufficient Balance表示在线账户余额不足充值即可。