一、Ollama 下载与安装Ollama 是一个开源项目专注于帮助用户本地化运行大型语言模型LLMs。它提供了一个简单易用的框架让开发者和个人用户能够在自己的设备上部署和运行 LLMs而无需依赖云服务或外部 API。这对于需要数据隐私、离线使用或自定义模型调整的场景非常有用。Ollama 的主要特点本地运行支持在本地设备如个人电脑、服务器上运行 LLMs确保数据隐私和安全开源作为一个开源项目用户可以自由查看、修改和扩展其代码。多模型支持可能支持多种开源或自定义的大型语言模型如 LLaMA、GPT-J 等。轻量级优化了资源占用适合在资源有限的设备上运行。易用性提供简单的命令行工具或 API方便用户快速部署和管理模型。跨平台可能支持多种操作系统如 Linux、macOS、Windows。Ollama的使用场景隐私保护在本地运行模型避免将敏感数据上传到云端。离线使用在没有网络连接的环境中运行 LLMs。自定义开发开发者可以基于 Ollama 构建自己的 LLM 应用或工具。教育与研究适合学术研究或教学用途帮助用户深入了解 LLMs 的工作原理。1. 安装包下载Ollama 下载https://ollama.com/downloadOllama 官方主页https://ollama.comOllama 官方 GitHub 源代码仓库https://github.com/ollama/ollama/1.1、官网下载打开 Ollama 官网https://ollama.com/点击页面上的“Download”按钮。在弹出的选项中选择适合安装包类型。此处以Windows安装程序为例文件比较大745M。1.2、GitHub 下载github上搜索下载地址地址如下https://github.com/ollama/ollama1.2. Windows 安装部署1.2.1. Windows 程序安装Windows 的安装程序下载完成后双击安装文件。安装开始后直接点击 Install稍等片刻后安装成功。1.2.2. 验证安装按下快捷键同时按 Windows 键和 R 键 (Win R)打开“运行”窗口。输入命令在窗口中输入 cmd然后敲击 Enter。输入命令在命令提示符窗口中输入ollama --version查看结果如果显示版本号说明安装成功。ollama--version运行之后访问 localhost:11434查看是否正常运行1.3 Ollama中常用的命令列表ollama-v显示版本 ollama list显示模型列表 ollama show显示模型的信息 ollama pull拉取模型 ollama push推送模型 ollamacp拷贝一个模型 ollamarm删除一个模型 ollama run运行一个模型 ollama serve启动ollama 服务端口号11434 ollama create从模型文件创建模型 ollama help获取有关任何命令的帮助信息1 查看已经安装的模型ollama list2 删除已存在模型以7b模型为例ollamarmdeepseek-r1:7b3 启动Ollama服务安装完成后你可以通过以下命令启动Ollama服务ollama serve这将会启动Ollama的服务并加载默认的模型通常是mistralai/mistral-7b-instruct-v0.1。如果你想加载特定的模型可以使用ollama servemodel_name例如:要加载GPT-4模型你可以使用ollama serve gpt-4例如:要加载GPT-4模型你可以使用ollama serve deepseek-r14 停止Ollama服务要停止Ollama服务你可以简单地使用CtrlC来中断ollama serve命令的进程或者如果你在后台运行它可以使用ollama stop二、配置Ollama1. 取消开机自启动在用户的启动菜单剪切Ollama图标至桌面 %APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup这样不占开机内存需要使用时再打开2. 查看环境变量Ollama 的默认模型存储路径如下C:\Users%username%.ollama\models。打开windows的环境设置如下Ollama运行Path已设置好即在CMD环境可直接运行3. 更改模型存储的路径3.1. 更改模型保存路径可选推荐在 Ollama 中模型的保存路径可通过环境变量 OLLAMA_MODELS 进行配置和查询。若未显式设置该变量Ollama 将默认使用系统盘路径这可能导致系统盘存储空间耗尽。通过以下方式查看当前 Ollama 模型的保存路径echo%OLLAMA_MODELS%如果 OLLAMA_MODELS 已设置会显示路径如D:\Software\ollama\llm3。如果没有设置输出为空Ollama 会使用默认路径C:\Users\username\ .ollama。3.2.1 使用 set 修改环境变量 方法一setOLLAMA_MODELSD:\works\llm3\ollama3.2.2 系统环境变量 OLLAMA_MODELS方法二或者通过新建 系统环境变量如果不生效试试用户环境变量 设置更改模型保存路径后需要重启 Ollama 服务才能使更改生效 Ollama 服务重启。Ollama 会加载新的模型保存路径并在该路径下下载和存储模型。三、使用 Ollama 部署 DeepSeek1.1 查询部署模型接下来我们进行部署DeepSeek R1模型的操作我们依旧打开ollama的官网,可以看见左上角有一个Models的选项我们点击下选择deepseek-r1,这里的话有很多模型我们可以根据自己电脑的显卡配置进行选择相应的版本,以下是模型与配置的建议这里我选择7b模型选择好之后复制1.2 部署模型回到命令提示符模式首先按下Win R键输入 cmd 并按回车打开命令行窗口。然后将之前复制的命令粘贴到命令行中并按下回车。接下来等待片刻让下载开始。需要注意的是下载过程可能会稍微慢一些我自己等待了一段时间才完成下载。通常情况下文件会默认下载到 C 盘因此如果你没有更改下载路径可以在 C 盘找到相关文件。如果你发现下载速度很慢可以按Ctrl C中断当前的下载命令然后重新输入相同的命令再次启动下载。值得注意的是重新开始下载时系统通常会从上次下载的进度继续进行因此你不需要从头开始下载。在我重新尝试下载后下载速度明显提高了一些。DeepSeek R1 模型ollama run deepseek-r1# 1.5bollama run deepseek-r1:1.5b# 7bollama run deepseek-r1:7b# 8bollama run deepseek-r1:8b# 14bollama run deepseek-r1:14b# 32bollama run deepseek-r1:32b# 70bollama run deepseek-r1:70b出现了一个success就是下载好了那么我们就可以直接进行对话了如果想退出对话输入/bye来退出四、ChatBox 接入本地 DeepSeek 实现图形化查看详细的 ChatBox 安装部署 与 接入本地 DeepSeek 实现图形化 操作步骤【超级详细 的 ChatBox 安装部署 与 接入本地 DeepSeek 实现图形化】 超级详细的 Ollama 搭建本地 DeepSeek大模型
一、Ollama 下载与安装Ollama 是一个开源项目专注于帮助用户本地化运行大型语言模型LLMs。它提供了一个简单易用的框架让开发者和个人用户能够在自己的设备上部署和运行 LLMs而无需依赖云服务或外部 API。这对于需要数据隐私、离线使用或自定义模型调整的场景非常有用。Ollama 的主要特点本地运行支持在本地设备如个人电脑、服务器上运行 LLMs确保数据隐私和安全开源作为一个开源项目用户可以自由查看、修改和扩展其代码。多模型支持可能支持多种开源或自定义的大型语言模型如 LLaMA、GPT-J 等。轻量级优化了资源占用适合在资源有限的设备上运行。易用性提供简单的命令行工具或 API方便用户快速部署和管理模型。跨平台可能支持多种操作系统如 Linux、macOS、Windows。Ollama的使用场景隐私保护在本地运行模型避免将敏感数据上传到云端。离线使用在没有网络连接的环境中运行 LLMs。自定义开发开发者可以基于 Ollama 构建自己的 LLM 应用或工具。教育与研究适合学术研究或教学用途帮助用户深入了解 LLMs 的工作原理。1. 安装包下载Ollama 下载https://ollama.com/downloadOllama 官方主页https://ollama.comOllama 官方 GitHub 源代码仓库https://github.com/ollama/ollama/1.1、官网下载打开 Ollama 官网https://ollama.com/点击页面上的“Download”按钮。在弹出的选项中选择适合安装包类型。此处以Windows安装程序为例文件比较大745M。1.2、GitHub 下载github上搜索下载地址地址如下https://github.com/ollama/ollama1.2. Windows 安装部署1.2.1. Windows 程序安装Windows 的安装程序下载完成后双击安装文件。安装开始后直接点击 Install稍等片刻后安装成功。1.2.2. 验证安装按下快捷键同时按 Windows 键和 R 键 (Win R)打开“运行”窗口。输入命令在窗口中输入 cmd然后敲击 Enter。输入命令在命令提示符窗口中输入ollama --version查看结果如果显示版本号说明安装成功。ollama--version运行之后访问 localhost:11434查看是否正常运行1.3 Ollama中常用的命令列表ollama-v显示版本 ollama list显示模型列表 ollama show显示模型的信息 ollama pull拉取模型 ollama push推送模型 ollamacp拷贝一个模型 ollamarm删除一个模型 ollama run运行一个模型 ollama serve启动ollama 服务端口号11434 ollama create从模型文件创建模型 ollama help获取有关任何命令的帮助信息1 查看已经安装的模型ollama list2 删除已存在模型以7b模型为例ollamarmdeepseek-r1:7b3 启动Ollama服务安装完成后你可以通过以下命令启动Ollama服务ollama serve这将会启动Ollama的服务并加载默认的模型通常是mistralai/mistral-7b-instruct-v0.1。如果你想加载特定的模型可以使用ollama servemodel_name例如:要加载GPT-4模型你可以使用ollama serve gpt-4例如:要加载GPT-4模型你可以使用ollama serve deepseek-r14 停止Ollama服务要停止Ollama服务你可以简单地使用CtrlC来中断ollama serve命令的进程或者如果你在后台运行它可以使用ollama stop二、配置Ollama1. 取消开机自启动在用户的启动菜单剪切Ollama图标至桌面 %APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup这样不占开机内存需要使用时再打开2. 查看环境变量Ollama 的默认模型存储路径如下C:\Users%username%.ollama\models。打开windows的环境设置如下Ollama运行Path已设置好即在CMD环境可直接运行3. 更改模型存储的路径3.1. 更改模型保存路径可选推荐在 Ollama 中模型的保存路径可通过环境变量 OLLAMA_MODELS 进行配置和查询。若未显式设置该变量Ollama 将默认使用系统盘路径这可能导致系统盘存储空间耗尽。通过以下方式查看当前 Ollama 模型的保存路径echo%OLLAMA_MODELS%如果 OLLAMA_MODELS 已设置会显示路径如D:\Software\ollama\llm3。如果没有设置输出为空Ollama 会使用默认路径C:\Users\username\ .ollama。3.2.1 使用 set 修改环境变量 方法一setOLLAMA_MODELSD:\works\llm3\ollama3.2.2 系统环境变量 OLLAMA_MODELS方法二或者通过新建 系统环境变量如果不生效试试用户环境变量 设置更改模型保存路径后需要重启 Ollama 服务才能使更改生效 Ollama 服务重启。Ollama 会加载新的模型保存路径并在该路径下下载和存储模型。三、使用 Ollama 部署 DeepSeek1.1 查询部署模型接下来我们进行部署DeepSeek R1模型的操作我们依旧打开ollama的官网,可以看见左上角有一个Models的选项我们点击下选择deepseek-r1,这里的话有很多模型我们可以根据自己电脑的显卡配置进行选择相应的版本,以下是模型与配置的建议这里我选择7b模型选择好之后复制1.2 部署模型回到命令提示符模式首先按下Win R键输入 cmd 并按回车打开命令行窗口。然后将之前复制的命令粘贴到命令行中并按下回车。接下来等待片刻让下载开始。需要注意的是下载过程可能会稍微慢一些我自己等待了一段时间才完成下载。通常情况下文件会默认下载到 C 盘因此如果你没有更改下载路径可以在 C 盘找到相关文件。如果你发现下载速度很慢可以按Ctrl C中断当前的下载命令然后重新输入相同的命令再次启动下载。值得注意的是重新开始下载时系统通常会从上次下载的进度继续进行因此你不需要从头开始下载。在我重新尝试下载后下载速度明显提高了一些。DeepSeek R1 模型ollama run deepseek-r1# 1.5bollama run deepseek-r1:1.5b# 7bollama run deepseek-r1:7b# 8bollama run deepseek-r1:8b# 14bollama run deepseek-r1:14b# 32bollama run deepseek-r1:32b# 70bollama run deepseek-r1:70b出现了一个success就是下载好了那么我们就可以直接进行对话了如果想退出对话输入/bye来退出四、ChatBox 接入本地 DeepSeek 实现图形化查看详细的 ChatBox 安装部署 与 接入本地 DeepSeek 实现图形化 操作步骤【超级详细 的 ChatBox 安装部署 与 接入本地 DeepSeek 实现图形化】