尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

本地大模型管理框架 Ollama及模型

本地大模型管理框架 Ollama及模型 模型收费模型DeepSeek、 OpenAI 、Kimi等。开源模型免费阿里的 qwen 系列。OllamaOllama 是目前全球流行的轻量级本地大模型运行与管理框架。免费不用花钱买云端 API不需要联网把数据发送到云端大厂的服务器上让大模型在你的电脑上离线运行。下载 Ollama第一种方式进入ollama官网的下载页 https://ollama.com/download 下载 ollama。第二种方式适用于 Linux/macOSWindows 10/11 可通过 WSL2 支持curl-fsSLhttps://ollama.com/install.sh|sh安装完成后运行以下命令验证安装ollama--version命令行下载模型打开电脑的命令行输入以下命令下载大语言模型LLM比如阿里的 qwen 系列。个人电脑 16G的可以使用 qwen3:8b 或者 qwen2.5:7b 如果还想用来写代码可以选择 qwen2.5-coder:7b 。ollama run qwen3:8b下载成功就会有 success。~ % ollama run qwen3:8b pulling manifest pulling a3de86cd1c13: 100% ▕██████████████████████████████████████████████████████████████████ ▏ 5.2 GB/5.2 GB 5.1 MB/s 0s verifying sha256 digest writing manifest success 在success 的后面就可以直接向模型提问问题了。提问模型下载好模型后后续如果想要运行模型通过 ollama run 命令即可运行。就可以向模型提问问题了。ollama run qwen3:8b ollama本地端口http://localhost:11434ollama查看已下载的模型在终端执行以下命令检查服务状态或查看已下载的模型列表curl http://localhost:11434/api/tags返回示例{ models: [ { name: qwen3-embedding:0.6b, model: qwen3-embedding:0.6b, modified_at: 2026-08-05T20:31:29.59965742708:00, size: 639150858, digest: ac6da0dfba84a81fdbfbaf330198c33cd77c4cdfc53e8bc50eb581914a15621d, details: { parent_model: /Users/ollama/.ollama/models/blobs/sha256-06507c7b42688469c4e7298b0a1e16deff06caf291cf0a5b278c308249c3e439, format: gguf, family: qwen3, families: [ qwen3 ], parameter_size: 595.78M, quantization_level: Q8_0, context_length: 32768, embedding_length: 1024 }, capabilities: [ embedding ] }, { name: qwen3:8b, model: qwen3:8b, modified_at: 2026-08-05T20:07:10.12331942508:00, size: 5225388164, digest: 500a1f067a9f782620b40bee6f7b0c89e17ae61f686b92c24933e4ca4b2b8b41, details: { parent_model: , format: gguf, family: qwen3, families: [ qwen3 ], parameter_size: 8.2B, quantization_level: Q4_K_M, context_length: 40960, embedding_length: 4096 }, capabilities: [ completion, tools, thinking ] } ] }
返回列表