Ollama 本地部署与运维使用指南
Ollama 是一款轻量级的本地大语言模型运行框架支持一键部署 Llama、DeepSeek、Qwen 等主流模型自动处理硬件加速与环境依赖。本文整理了 Linux 环境下从安装、服务管理到模型迁移的完整操作手册精简实用可直接作为运维参考。一、安装部署1. 前置准备确保系统已安装curl工具apt update apt install curl -y2. 一键安装 Ollama官方脚本自动完成二进制部署与 systemd 服务注册curl -fsSL https://ollama.com/install.sh | sh3. 验证安装ollama --version安装完成后Ollama 默认以ollama用户身份运行 systemd 服务监听127.0.0.1:11434。二、系统磁盘与挂载检查部署前建议确认磁盘空间与挂载点避免模型下载中途空间不足# 查看磁盘使用情况 df -h # 查看块设备挂载情况 lsblk大模型单文件通常 4GB~40GB 不等建议预留足够空间或提前迁移数据目录。三、服务管理systemdOllama 安装后自动注册为系统服务使用systemctl进行生命周期管理操作命令启动服务sudo systemctl start ollama停止服务sudo systemctl stop ollama重启服务sudo systemctl restart ollama查看状态sudo systemctl status ollama设置开机自启sudo systemctl enable ollama取消开机自启sudo systemctl disable ollama重载服务配置sudo systemctl daemon-reload注意修改服务配置文件后必须执行daemon-reloadrestart才能生效。四、模型管理常用命令1. 核心操作# 查看已下载的模型列表 ollama list # 拉取模型以 deepseek-r1:7b 为例 ollama pull deepseek-r1:7b # 交互式运行模型 ollama run deepseek-r1:7b # 删除模型 ollama rm deepseek-r1:7b五、高级配置端口与网络访问默认仅本机可访问127.0.0.1:11434如需局域网访问或修改端口需编辑 systemd 服务配置。1. 编辑服务配置sudo nano /etc/systemd/system/ollama.service在[Service]段添加环境变量[Service] # 修改监听地址与端口示例监听所有网卡端口 11435 EnvironmentOLLAMA_HOST0.0.0.0:11435 # 允许跨域访问WebUI 对接时需要 EnvironmentOLLAMA_ORIGINS*2. 使配置生效sudo systemctl daemon-reload sudo systemctl restart ollama3. 验证端口netstat -tulpn | grep 114354. 常用环境变量速览OLLAMA_HOST监听地址与端口默认127.0.0.1:11434OLLAMA_MODELS模型存储目录OLLAMA_KEEP_ALIVE模型在内存中存活时间如24hOLLAMA_NUM_PARALLEL并行请求数CUDA_VISIBLE_DEVICES指定使用的 GPU 编号六、模型数据目录迁移默认模型存储在/usr/share/ollama/.ollama/modelssystemd 方式或~/.ollama/models手动运行。系统盘空间不足时建议迁移到大容量磁盘。方法一环境变量方式推荐1.停止服务sudo systemctl stop ollama2.创建新目录并迁移数据# 创建目标目录示例路径请替换为你的实际路径 sudo mkdir -p /media/root01/308A13A18A1362A0/ollama_models # 迁移现有模型 sudo mv /usr/share/ollama/.ollama/* /media/root01/308A13A18A1362A0/ollama_models/3.修改服务配置sudo nano /etc/systemd/system/ollama.service添加环境变量EnvironmentOLLAMA_MODELS/media/root01/308A13A18A1362A0/ollama_models/models4.重启服务并验证sudo systemctl daemon-reload sudo systemctl start ollama ollama list方法二软链接方式适合不想修改服务配置的场景sudo systemctl stop ollama sudo mv /usr/share/ollama/.ollama /目标路径/.ollama sudo ln -s /目标路径/.ollama /usr/share/ollama/.ollama sudo systemctl start ollama七、Docker 方式部署可选若偏好容器化部署可使用 Docker 一键启动docker run -d \ --name ollama \ -p 11434:11434 \ -v ./ollama-data:/root/.ollama \ -e OLLAMA_HOST0.0.0.0 \ --gpus all \ ollama/ollama:latest数据持久化通过挂载卷实现迁移时直接复制./ollama-data目录即可。八、常见问题排查服务启动失败执行journalctl -u ollama -f查看实时日志模型拉取慢可配置代理或手动下载 GGUF 文件通过ollama create导入GPU 不识别确认 NVIDIA 驱动与 CUDA 已正确安装Ollama 会自动检测远程无法访问检查防火墙是否放行对应端口以及OLLAMA_HOST是否配置为0.0.0.0