艺术家 ZHO 提出过一个很尖锐的说法“AI 将人类从人类性中开除。”不少人的第一反应是反驳或者陷入哲学争论。但作为一个长期做 AI 工程落地的开发者我读这句话时更愿意把它当成一个问题清单AI 到底在哪些环节真正替代了人类哪些环节只是看起来替代了人类的“不可替代性”到底还剩多少如果想要活下去开发者应该把自己的能力往哪个方向迁移本文不打算参与哲学论战而是把这句话拆成一封技术说明书。我会从生成式 AI 的能力边界讲起带你搭建一个本地 AI 工作台实际跑通文本生成、图片生成、文档问答等场景并在最后讨论当 AI 越来越像“人”时工程师应该守住哪些阵地。1. 背景与核心概念1.1 “人类性”是什么AI 动了哪一块ZHO 所说的“人类性”更准确的理解是人的主体性、不可替代性、独特创造力。过去我们默认只有人类才能写诗、画画、作曲、写代码这些活动被认为是“人类性”最直接的体现。但现在的情况变了大模型能写出逻辑完整的文章和代码扩散模型能生成足以以假乱真的图像和视频Agent 能自主拆解任务、调用工具、完成多步操作。于是“开除”这个说法出现了。它描述的是一种心理冲击人类在创作、决策、审美上的垄断地位正在被技术快速削弱。但从工程视角看这句话需要打一个很大的折扣。因为 AI 目前的能力高度依赖人类的定义、约束和纠错。它更像一个“能力放大器”而不是“人类替代器”。真正的问题不是“AI 是否开除了人类”而是“人类应该站在 AI 工作流的哪个位置”。1.2 关键词图谱大模型、多模态、Agent要理解这场讨论先要分清几个高频词大模型LLM以 Transformer 为基础的文本生成模型核心能力是“根据前文预测下一个词”代表作包括 Qwen、Llama、DeepSeek 等。多模态模型同时处理文本、图像、音频、视频的模型例如视觉语言模型可以“看图说话”。AI 绘画 / 视频生成基于扩散模型Diffusion Model的生成技术把随机噪声一步步降噪最终得到图像或视频。Agent智能体让大模型不仅会聊天还能调用外部工具、访问数据库、操作浏览器完成一个相对完整的任务闭环。RAG检索增强生成先检索外部文档再把检索结果拼进提示词让模型基于真实资料回答减少幻觉。这几个词串起来就是当前“AI 应用开发”的主要技术骨架。1.3 为什么开发者必须关心这场讨论过去几年AI 从“实验品”变成了“基础设施”。无论你做 Web 开发、移动端、算法还是运维都会遇到两类问题怎么把 AI 能力接进现有系统是调云厂商 API还是本地部署怎么控制 AI 的输出质量它胡说了怎么办它生成违规内容怎么办与其担心“被开除”不如先掌握“如何驾驭”。本文后面的内容就是为了解决这两个问题而展开的。2. 环境准备与版本说明2.1 本地部署还是 API 调用在动手之前先做一个关键选择。两套路线各有适用场景没有绝对优劣。对比维度本地部署云端 API启动成本需要下载模型配置环境注册账号创建 Key 即可硬件要求高模型越大越吃显存无算力在云端数据隐私数据不出本机适合敏感业务数据会发送到服务商单次调用成本主要是电费和硬件折旧按 Token 或按次计费定制能力可微调、可换模型受服务商 API 限制维护成本需自己升级模型、管理依赖服务商升级基本不需要管如果你刚开始学习或者只是做个人工具本地部署是性价比最高的选择。本文的实战部分也以本地部署为主线因为这样可以避开账号、网络和费用问题把注意力放在原理和代码上。2.2 硬件与运行环境本地跑大模型最核心的硬件是显存VRAM和内存。7B 级别模型70 亿参数量化后大约需要 4GB 到 8GB 显存内存 16GB 起步较稳妥。14B 级别模型量化后大约需要 8GB 到 12GB 显存。图片生成模型Stable Diffusion 1.5 系列6GB 显存可以跑4GB 比较吃力。如果你的电脑没有独立显卡也不代表完全不能玩。小尺寸量化模型可以在 CPU 上运行速度慢但能跑。部分 AMD 处理器自带 NPU但 NPU 目前能运行的模型类型有限且生态依赖厂商驱动和框架支持。近两年出现的 AMD Ryzen AI 系列处理器确实在宣传上强调 AI 能力但 Ollama 等工具是否能调用其 iGPU 或 NPU取决于 ROCm、Vulkan 等后端的支持情况。在写本文时这并没有一个统一的答案所以我的建议是先按“CPU 为主如果环境支持再开启 GPU”的思路配置不要为了 NPU 纠结。2.3 软件栈本地部署推荐使用Ollama作为大模型运行工具它的安装和操作比直接配置 Python 深度学习环境简单很多。操作系统Windows 10/11、macOS、主流 Linux 发行版均可。Python建议 3.10 或更高版本用于编写调用代码。Ollama从官网下载安装包Linux 可以通过脚本一键安装。Git用于克隆开源项目。版本说明Ollama 和模型仓库更新很快不同版本的命令和 API 可能会有细微差异。本文以常见用法为例如果你遇到不兼容的报错优先查阅对应版本文档。3. 生成式 AI 的核心原理拆解在写代码之前先了解生成式 AI 的三大底层机制。只有理解了原理你才能明白为什么模型会“胡说”为什么换一个提示词结果差别巨大。3.1 Token大模型眼中的“词”大模型并不直接理解文字它会把输入切分成一个个Token。Token 可以是一个完整的词也可以是一个词的一部分甚至是一个标点符号。例如“人工智能”可能被切分成两个 Token人工 / 智能模型每次输出的过程本质是不断计算“下一个 Token 是什么”的概率分布然后从中采样。这就是为什么同一句提示词每次生成结果不一定相同采样过程引入了随机性。这个原理带来两个工程结论输出长度按 Token 计费中文通常 1 到 2 个字符对应一个 Token。可以通过温度参数temperature控制随机性温度越低输出越保守、稳定温度越高输出越有创造性也越容易跑偏。3.2 扩散模型从噪声到图像AI 绘画使用的是另一套技术叫扩散模型。它的训练思路是给一张真实图片逐步加入噪声直到变成纯噪声然后训练模型学会“去噪”从纯噪声一步步还原出图片。生成时模型从一个随机噪声向量开始经过几十步去噪最终得到一张清晰图像。常见参数包括采样步数steps步数越多细节通常越好但耗时也越长。提示词prompt控制画面内容。负面提示词negative prompt告诉模型不要画什么例如“模糊、畸形、低质量”。随机种子seed固定种子可以复现同一张图。3.3 Agent让模型拥有“手”和“眼睛”如果你让大模型回答“今天北京天气怎么样”它无法直接知道答案因为它没有联网能力。但你可以给模型提供工具例如一个天气查询 API。模型看到用户问题后会判断“应该调用天气工具”然后生成一个特殊格式的工具调用指令你的程序解析并执行再把结果返回给模型模型最后生成回答。这种“模型 工具 循环执行”的结构就是 Agent 的基本形态。一个完整 Agent 工作流通常包含用户输入 ↓ 大模型规划 ↓ 调用工具 / 查询知识库 / 操作接口 ↓ 把工具结果返回给模型 ↓ 模型综合生成最终回答 ↓ 必要时循环以上过程直到目标完成理解 Agent你就理解了当前 AI 应用开发最热门的领域AI Agent 开发。它把模型从“聊天机器人”变成“可执行任务的数字员工”。3.4 幻觉AI 最需要人类兜底的地方生成式模型的核心机制是“预测下一个词”所以它不知道“事实”和“猜测”的区别。它会一本正经地告诉你一个不存在的 API、一条编造的法律条款。这就是所谓的AI 幻觉AI Hallucination。在普通聊天场景幻觉可能只是有点好笑在客服、医疗、金融、法律等场景幻觉就是风险。工程上应对幻觉的主流手段包括使用 RAG给模型提供检索到的真实资料提示词里强制要求“如果资料中没有答案请直接说明不知道”输出后增加人工审核或自动校验环节。从这里可以看到AI 并没有真的“开除”人类它越是强大越需要人类设计约束机制来兜底。4. 完整实战搭建一个本地 AI 工作台下面我们动手搭建一个“本地 AI 工作台”。它包含四个能力本地大模型对话用 Python 调用模型接口本地生成图片基于 RAG 的文档问答。整个过程以 Ollama 为核心代码尽量短小、可复制。4.1 创建项目结构建议创建一个独立目录把所有代码放在一起ai-workbench/ ├── chat_demo.py # 文本对话调用 ├── image_demo.py # 图片生成 ├── rag_demo.py # 文档检索问答 └── requirements.txt # 依赖先创建目录mkdir ai-workbench cd ai-workbenchrequirements.txt 内容如下requests diffusers transformers accelerate torch numpy安装依赖建议使用虚拟环境python -m venv venv source venv/bin/activate # Windows 下执行 venv\Scripts\activate pip install -r requirements.txt这里有几个依赖不一定要全部安装。如果你只跑文本对话只需要 requests如果你要跑图片生成再安装 diffusers。为了避免环境臃肿你可以按需安装。4.2 部署本地大模型Ollama在本地计算机安装 Ollama 后启动服务ollama serve然后拉取模型。这里以 Qwen 系列为例因为中文效果不错且模型体积适中ollama pull qwen2.5:7b拉取完成后可以直接在终端对话ollama run qwen2.5:7b输入“你好”你会看到模型返回回答。这样就完成了一个最简的本地大模型部署。4.3 用 Python 调用本地模型接口Ollama 提供 HTTP API我们可以用 Python 的 requests 库调用。文件路径ai-workbench/chat_demo.pyimport requests import json url http://localhost:11434/api/chat payload { model: qwen2.5:7b, messages: [ {role: user, content: 用一句话解释什么是 AI Agent。} ], stream: False } resp requests.post(url, jsonpayload) resp.raise_for_status() data resp.json() print(data[message][content])运行python chat_demo.py预期输出类似AI Agent 是一种能够自主感知环境、做出决策并执行任务以实现目标的智能体。这段代码的核心是把“用户消息”发给模型然后读取返回内容。streamFalse表示一次性返回完整结果调试时最方便。4.4 用 diffusers 生成一张图片图片生成比文本生成更依赖硬件。这里给出基于 Hugging Face diffusers 库的示例。文件路径ai-workbench/image_demo.pyfrom diffusers import StableDiffusionPipeline import torch model_id runwayml/stable-diffusion-v1-5 # 如果显存不足可以改用 fp16CPU 环境不要加 torch_dtype pipe StableDiffusionPipeline.from_pretrained( model_id, torch_dtypetorch.float16 if torch.cuda.is_available() else torch.float32 ) if torch.cuda.is_available(): pipe pipe.to(cuda) else: pipe pipe.to(cpu) prompt a small robot reading a book under a warm desk lamp, cozy room, digital art negative_prompt blurry, low quality, deformed generator torch.Generator(devicecpu).manual_seed(42) image pipe( prompt, negative_promptnegative_prompt, num_inference_steps30, generatorgenerator, ).images[0] image.save(output.png) print(图片已保存到 output.png)运行python image_demo.py注意首次运行会下载模型权重文件较大需要耐心等待。生成速度取决于硬件。CPU 生成一张 512x512 的图片可能需要几分钟。runwayml/stable-diffusion-v1-5是一个比较经典的模型也可以换成其他社区模型但要确认 diffusers 版本兼容。4.5 用 RAG 做文档检索问答先看一个最简 RAG 流程用户问题 ↓ 把问题和本地文档转换成向量 ↓ 计算相似度找到最相关文档片段 ↓ 把“文档片段 用户问题”拼成提示词发给大模型 ↓ 模型基于文档内容回答Ollama 支持嵌入模型我们可以先拉取嵌入模型ollama pull nomic-embed-text文件路径ai-workbench/rag_demo.pyimport requests import numpy as np OLLAMA_URL http://localhost:11434 def embed(texts): 调用 Ollama 嵌入接口把文本转为向量 resp requests.post(f{OLLAMA_URL}/api/embed, json{ model: nomic-embed-text, input: texts }) resp.raise_for_status() data resp.json() return np.array(data[embeddings], dtypefloat32) docs [ Ollama 可以在本地运行大模型适合隐私敏感场景。, RAG 是检索增强生成技术可以减少模型幻觉。, Spring Boot 是 Java 生态中常用的微服务开发框架。, ] doc_vecs embed(docs) query 本地跑大模型应该用什么工具 q_vec embed([query])[0] # 计算余弦相似度 scores (doc_vecs q_vec) / (np.linalg.norm(doc_vecs, axis1) * np.linalg.norm(q_vec)) idx int(np.argmax(scores)) print(f最相关文档{docs[idx]}) print(f相似度{scores[idx]:.4f})运行python rag_demo.py这个例子没有真正接入大模型只完成了“检索”这一步。完整问答还需要把检索到的文档拼到提示词里再调用 chat 接口。下面是完整版的核心片段context docs[idx] chat_payload { model: qwen2.5:7b, messages: [ {role: system, content: 请只根据以下资料回答问题资料中没有的信息不要猜测。}, {role: user, content: f资料{context}\n问题{query}} ], stream: False } resp requests.post(f{OLLAMA_URL}/api/chat, jsonchat_payload) print(resp.json()[message][content])到这里你已经拥有一个可以对话、画图、搜索文档的本地 AI 工作台。4.6 运行与验证小结完成以上步骤后你会得到一个可交互的本地聊天模型一个可复用的 Python 调用脚本一张由扩散模型生成的图片一个能找出“最相关文档片段”的检索脚本。这些都是 AI 工程实践中最基础的“积木”。真正的产品化无非是把这些积木按业务需求拼接起来。5. 常见问题与排查思路本地部署 AI 时新手遇到的问题通常集中在几个方面。下面通过表格快速定位再逐个展开。问题现象常见原因解决思路模型下载慢或失败网络连接不稳定、镜像源未配置更换网络或使用国内镜像源调用 API 报错 Connection refusedOllama 服务没启动先运行ollama serve显存不足模型过大或同时运行多个模型换小模型或者使用量化版本Ollama 没有使用 GPU驱动、ROCm/CUDA 后端未配置查看ollama ps确认设备图片生成黑图或崩图显存不足、采样步数太少、提示词不友好降低分辨率、增加步数、优化提示词模型回答一本正经地胡说幻觉缺少知识来源引入 RAG提供真实资料依赖冲突diffusers、torch 版本不匹配使用虚拟环境按官方文档安装5.1 模型下载慢国内下载 Hugging Face 或 Ollama 模型时经常遇到速度慢、中途中断的问题。可以优先使用镜像源。Ollama 本身也可以通过设置环境变量切换模型下载源但不同版本支持程度不同。通用建议是换一个稳定的网络环境使用支持断点续传的下载工具参考社区提供的镜像方案但不要使用任何涉及访问限制的工具。5.2 如何确认 Ollama 是否在用 GPU 运行在另一个终端执行ollama ps输出中会显示每个模型的PROCESSOR列如果显示的是 GPU说明已正确调用如果显示 CPU说明当前没有使用 GPU 加速。对于 AMD 显卡或 AMD Ryzen AI 系列处理器是否能使用 GPU 或 NPU取决于 ROCm、Vulkan 后端和驱动的支持情况。不同版本的 Ollama 支持程度差异很大。如果ollama ps显示 CPU先不要急着换硬件可以按以下顺序排查确认驱动已更新到最新版本在 Ollama 官方文档中查找当前版本对 AMD 后端的支持说明尝试小尺寸模型例如 3B、7B 的量化版本降低对显存的需求。如果条件允许优先使用 NVIDIA 显卡它的 CUDA 生态最成熟踩坑最少。5.3 显存不足显存不足时错误信息通常直接提示 CUDA out of memory。解决办法换更小的模型例如从 14B 降到 7B使用量化版本例如 Q4_K_M关闭其他占用显存的程序图片生成时降低图片分辨率从 1024x1024 降到 512x512。5.4 生成结果质量差生成质量差不是一个单一问题。文本方面可能原因是提示词不够具体或者温度设置过高。图像方面可能原因是采样步数太少、负面提示词缺失、模型本身风格有限。这一类问题没有统一答案推荐做法是写实验记录固定种子、固定参数一次只改一个变量。这样你才能知道到底是哪个参数影响了结果。6. 最佳实践与工程建议6.1 内容安全与合规是底线AI 生成内容的能力越强越需要关注安全合规。无论你使用的是云 API 还是本地模型都要注意生成内容必须符合法律法规和社会公序良俗涉及用户隐私的内容不应直接发送给外部模型生产环境应对输入和输出做敏感内容过滤明确告知用户哪些内容是 AI 生成的。很多本地模型在安全对齐上不如商业 API 完善落地时必须自己做一层内容审核。不要默认“模型已经够安全”。6.2 用最小权限和测试环境保护生产系统当一个 AI Agent 需要调用数据库、支付接口、文件系统时一定要遵循最小权限原则Agent 使用的数据库账号只开放所需表和行权限涉及删除、更新操作前必须二次确认先在测试环境完整跑通再上生产生产环境变更前做好备份和回滚预案。AI Agent 的自主性来源于可以“调用工具”这也意味着它可能执行危险操作。工程上必须给它戴上“笼头”。6.3 关注版本与可复现性AI 领域的版本变化非常快模型权重会更新依赖库会升级API 参数会调整。建议你养成记录版本的习惯requirements.txt 中锁定具体版本号记录模型 ID 和下载时间图片生成时保存 prompt、negative prompt、seed、steps 等参数。这样你三个月后回看自己的项目还能复现当时的结果。6.4 从个人工具走向团队产品个人脚本和团队产品之间隔着工程化距离需要统一的大模型接入层避免每个服务各自调用模型需要接口鉴权、限流、熔断机制需要日志追踪记录每次请求的输入、输出、耗时和成本需要评估机制至少准备一批测试问题定期回归模型输出质量。如果你在团队中引入 AI我建议先从一个低风险场景切入例如“文档问答”“代码生成辅助”而不是一上来就让 Agent 直接操作核心业务流程。7. 总结与学习路线回到标题那句话AI 是否真的把人类从“人类性”中开除了从技术角度我看到的是AI 确实替代了大量重复性脑力劳动——写模板代码、做会议纪、生成初稿、整理信息。这些工作过去确实属于“人类能力”现在被模型以更快的速度完成。但“开除”说得太重了。AI 越普及人类需要承担的判断、设计、审核、纠偏责任反而越重模型可以画图但审美方向需要人类定模型可以写代码但架构决策和代码审查需要人类做模型可以回答但事实核验和风险判断需要人类兜底。对开发者来说真正应该焦虑的不是“会不会被开除”而是“是否只停留在被 AI 替代的那一层”。我建议的学习路线很朴素按顺序推进即可先跑通 Ollama部署一个 7B 模型亲手体验本地大模型学会用 Python 调用模型 API理解 prompt、temperature、Token 这些基础概念把模型接进一个具体场景例如文档问答或日志分析学习 RAG用检索降低幻觉这一步是很多 AI 应用落地的关键再往后可以接触 Agent 编排、模型微调、性能优化和 AI 工程化治理。在实际项目中我最大的体会是AI 应用开发的难点从来不在“调用模型”这一步而在于如何控制质量、如何管理成本、如何保证安全、如何评估效果。这些能力才是 AI 时代开发者最该积累的“人类性”。 从本地AI工作台到大模型应用：开发者如何守住不可替代性
艺术家 ZHO 提出过一个很尖锐的说法“AI 将人类从人类性中开除。”不少人的第一反应是反驳或者陷入哲学争论。但作为一个长期做 AI 工程落地的开发者我读这句话时更愿意把它当成一个问题清单AI 到底在哪些环节真正替代了人类哪些环节只是看起来替代了人类的“不可替代性”到底还剩多少如果想要活下去开发者应该把自己的能力往哪个方向迁移本文不打算参与哲学论战而是把这句话拆成一封技术说明书。我会从生成式 AI 的能力边界讲起带你搭建一个本地 AI 工作台实际跑通文本生成、图片生成、文档问答等场景并在最后讨论当 AI 越来越像“人”时工程师应该守住哪些阵地。1. 背景与核心概念1.1 “人类性”是什么AI 动了哪一块ZHO 所说的“人类性”更准确的理解是人的主体性、不可替代性、独特创造力。过去我们默认只有人类才能写诗、画画、作曲、写代码这些活动被认为是“人类性”最直接的体现。但现在的情况变了大模型能写出逻辑完整的文章和代码扩散模型能生成足以以假乱真的图像和视频Agent 能自主拆解任务、调用工具、完成多步操作。于是“开除”这个说法出现了。它描述的是一种心理冲击人类在创作、决策、审美上的垄断地位正在被技术快速削弱。但从工程视角看这句话需要打一个很大的折扣。因为 AI 目前的能力高度依赖人类的定义、约束和纠错。它更像一个“能力放大器”而不是“人类替代器”。真正的问题不是“AI 是否开除了人类”而是“人类应该站在 AI 工作流的哪个位置”。1.2 关键词图谱大模型、多模态、Agent要理解这场讨论先要分清几个高频词大模型LLM以 Transformer 为基础的文本生成模型核心能力是“根据前文预测下一个词”代表作包括 Qwen、Llama、DeepSeek 等。多模态模型同时处理文本、图像、音频、视频的模型例如视觉语言模型可以“看图说话”。AI 绘画 / 视频生成基于扩散模型Diffusion Model的生成技术把随机噪声一步步降噪最终得到图像或视频。Agent智能体让大模型不仅会聊天还能调用外部工具、访问数据库、操作浏览器完成一个相对完整的任务闭环。RAG检索增强生成先检索外部文档再把检索结果拼进提示词让模型基于真实资料回答减少幻觉。这几个词串起来就是当前“AI 应用开发”的主要技术骨架。1.3 为什么开发者必须关心这场讨论过去几年AI 从“实验品”变成了“基础设施”。无论你做 Web 开发、移动端、算法还是运维都会遇到两类问题怎么把 AI 能力接进现有系统是调云厂商 API还是本地部署怎么控制 AI 的输出质量它胡说了怎么办它生成违规内容怎么办与其担心“被开除”不如先掌握“如何驾驭”。本文后面的内容就是为了解决这两个问题而展开的。2. 环境准备与版本说明2.1 本地部署还是 API 调用在动手之前先做一个关键选择。两套路线各有适用场景没有绝对优劣。对比维度本地部署云端 API启动成本需要下载模型配置环境注册账号创建 Key 即可硬件要求高模型越大越吃显存无算力在云端数据隐私数据不出本机适合敏感业务数据会发送到服务商单次调用成本主要是电费和硬件折旧按 Token 或按次计费定制能力可微调、可换模型受服务商 API 限制维护成本需自己升级模型、管理依赖服务商升级基本不需要管如果你刚开始学习或者只是做个人工具本地部署是性价比最高的选择。本文的实战部分也以本地部署为主线因为这样可以避开账号、网络和费用问题把注意力放在原理和代码上。2.2 硬件与运行环境本地跑大模型最核心的硬件是显存VRAM和内存。7B 级别模型70 亿参数量化后大约需要 4GB 到 8GB 显存内存 16GB 起步较稳妥。14B 级别模型量化后大约需要 8GB 到 12GB 显存。图片生成模型Stable Diffusion 1.5 系列6GB 显存可以跑4GB 比较吃力。如果你的电脑没有独立显卡也不代表完全不能玩。小尺寸量化模型可以在 CPU 上运行速度慢但能跑。部分 AMD 处理器自带 NPU但 NPU 目前能运行的模型类型有限且生态依赖厂商驱动和框架支持。近两年出现的 AMD Ryzen AI 系列处理器确实在宣传上强调 AI 能力但 Ollama 等工具是否能调用其 iGPU 或 NPU取决于 ROCm、Vulkan 等后端的支持情况。在写本文时这并没有一个统一的答案所以我的建议是先按“CPU 为主如果环境支持再开启 GPU”的思路配置不要为了 NPU 纠结。2.3 软件栈本地部署推荐使用Ollama作为大模型运行工具它的安装和操作比直接配置 Python 深度学习环境简单很多。操作系统Windows 10/11、macOS、主流 Linux 发行版均可。Python建议 3.10 或更高版本用于编写调用代码。Ollama从官网下载安装包Linux 可以通过脚本一键安装。Git用于克隆开源项目。版本说明Ollama 和模型仓库更新很快不同版本的命令和 API 可能会有细微差异。本文以常见用法为例如果你遇到不兼容的报错优先查阅对应版本文档。3. 生成式 AI 的核心原理拆解在写代码之前先了解生成式 AI 的三大底层机制。只有理解了原理你才能明白为什么模型会“胡说”为什么换一个提示词结果差别巨大。3.1 Token大模型眼中的“词”大模型并不直接理解文字它会把输入切分成一个个Token。Token 可以是一个完整的词也可以是一个词的一部分甚至是一个标点符号。例如“人工智能”可能被切分成两个 Token人工 / 智能模型每次输出的过程本质是不断计算“下一个 Token 是什么”的概率分布然后从中采样。这就是为什么同一句提示词每次生成结果不一定相同采样过程引入了随机性。这个原理带来两个工程结论输出长度按 Token 计费中文通常 1 到 2 个字符对应一个 Token。可以通过温度参数temperature控制随机性温度越低输出越保守、稳定温度越高输出越有创造性也越容易跑偏。3.2 扩散模型从噪声到图像AI 绘画使用的是另一套技术叫扩散模型。它的训练思路是给一张真实图片逐步加入噪声直到变成纯噪声然后训练模型学会“去噪”从纯噪声一步步还原出图片。生成时模型从一个随机噪声向量开始经过几十步去噪最终得到一张清晰图像。常见参数包括采样步数steps步数越多细节通常越好但耗时也越长。提示词prompt控制画面内容。负面提示词negative prompt告诉模型不要画什么例如“模糊、畸形、低质量”。随机种子seed固定种子可以复现同一张图。3.3 Agent让模型拥有“手”和“眼睛”如果你让大模型回答“今天北京天气怎么样”它无法直接知道答案因为它没有联网能力。但你可以给模型提供工具例如一个天气查询 API。模型看到用户问题后会判断“应该调用天气工具”然后生成一个特殊格式的工具调用指令你的程序解析并执行再把结果返回给模型模型最后生成回答。这种“模型 工具 循环执行”的结构就是 Agent 的基本形态。一个完整 Agent 工作流通常包含用户输入 ↓ 大模型规划 ↓ 调用工具 / 查询知识库 / 操作接口 ↓ 把工具结果返回给模型 ↓ 模型综合生成最终回答 ↓ 必要时循环以上过程直到目标完成理解 Agent你就理解了当前 AI 应用开发最热门的领域AI Agent 开发。它把模型从“聊天机器人”变成“可执行任务的数字员工”。3.4 幻觉AI 最需要人类兜底的地方生成式模型的核心机制是“预测下一个词”所以它不知道“事实”和“猜测”的区别。它会一本正经地告诉你一个不存在的 API、一条编造的法律条款。这就是所谓的AI 幻觉AI Hallucination。在普通聊天场景幻觉可能只是有点好笑在客服、医疗、金融、法律等场景幻觉就是风险。工程上应对幻觉的主流手段包括使用 RAG给模型提供检索到的真实资料提示词里强制要求“如果资料中没有答案请直接说明不知道”输出后增加人工审核或自动校验环节。从这里可以看到AI 并没有真的“开除”人类它越是强大越需要人类设计约束机制来兜底。4. 完整实战搭建一个本地 AI 工作台下面我们动手搭建一个“本地 AI 工作台”。它包含四个能力本地大模型对话用 Python 调用模型接口本地生成图片基于 RAG 的文档问答。整个过程以 Ollama 为核心代码尽量短小、可复制。4.1 创建项目结构建议创建一个独立目录把所有代码放在一起ai-workbench/ ├── chat_demo.py # 文本对话调用 ├── image_demo.py # 图片生成 ├── rag_demo.py # 文档检索问答 └── requirements.txt # 依赖先创建目录mkdir ai-workbench cd ai-workbenchrequirements.txt 内容如下requests diffusers transformers accelerate torch numpy安装依赖建议使用虚拟环境python -m venv venv source venv/bin/activate # Windows 下执行 venv\Scripts\activate pip install -r requirements.txt这里有几个依赖不一定要全部安装。如果你只跑文本对话只需要 requests如果你要跑图片生成再安装 diffusers。为了避免环境臃肿你可以按需安装。4.2 部署本地大模型Ollama在本地计算机安装 Ollama 后启动服务ollama serve然后拉取模型。这里以 Qwen 系列为例因为中文效果不错且模型体积适中ollama pull qwen2.5:7b拉取完成后可以直接在终端对话ollama run qwen2.5:7b输入“你好”你会看到模型返回回答。这样就完成了一个最简的本地大模型部署。4.3 用 Python 调用本地模型接口Ollama 提供 HTTP API我们可以用 Python 的 requests 库调用。文件路径ai-workbench/chat_demo.pyimport requests import json url http://localhost:11434/api/chat payload { model: qwen2.5:7b, messages: [ {role: user, content: 用一句话解释什么是 AI Agent。} ], stream: False } resp requests.post(url, jsonpayload) resp.raise_for_status() data resp.json() print(data[message][content])运行python chat_demo.py预期输出类似AI Agent 是一种能够自主感知环境、做出决策并执行任务以实现目标的智能体。这段代码的核心是把“用户消息”发给模型然后读取返回内容。streamFalse表示一次性返回完整结果调试时最方便。4.4 用 diffusers 生成一张图片图片生成比文本生成更依赖硬件。这里给出基于 Hugging Face diffusers 库的示例。文件路径ai-workbench/image_demo.pyfrom diffusers import StableDiffusionPipeline import torch model_id runwayml/stable-diffusion-v1-5 # 如果显存不足可以改用 fp16CPU 环境不要加 torch_dtype pipe StableDiffusionPipeline.from_pretrained( model_id, torch_dtypetorch.float16 if torch.cuda.is_available() else torch.float32 ) if torch.cuda.is_available(): pipe pipe.to(cuda) else: pipe pipe.to(cpu) prompt a small robot reading a book under a warm desk lamp, cozy room, digital art negative_prompt blurry, low quality, deformed generator torch.Generator(devicecpu).manual_seed(42) image pipe( prompt, negative_promptnegative_prompt, num_inference_steps30, generatorgenerator, ).images[0] image.save(output.png) print(图片已保存到 output.png)运行python image_demo.py注意首次运行会下载模型权重文件较大需要耐心等待。生成速度取决于硬件。CPU 生成一张 512x512 的图片可能需要几分钟。runwayml/stable-diffusion-v1-5是一个比较经典的模型也可以换成其他社区模型但要确认 diffusers 版本兼容。4.5 用 RAG 做文档检索问答先看一个最简 RAG 流程用户问题 ↓ 把问题和本地文档转换成向量 ↓ 计算相似度找到最相关文档片段 ↓ 把“文档片段 用户问题”拼成提示词发给大模型 ↓ 模型基于文档内容回答Ollama 支持嵌入模型我们可以先拉取嵌入模型ollama pull nomic-embed-text文件路径ai-workbench/rag_demo.pyimport requests import numpy as np OLLAMA_URL http://localhost:11434 def embed(texts): 调用 Ollama 嵌入接口把文本转为向量 resp requests.post(f{OLLAMA_URL}/api/embed, json{ model: nomic-embed-text, input: texts }) resp.raise_for_status() data resp.json() return np.array(data[embeddings], dtypefloat32) docs [ Ollama 可以在本地运行大模型适合隐私敏感场景。, RAG 是检索增强生成技术可以减少模型幻觉。, Spring Boot 是 Java 生态中常用的微服务开发框架。, ] doc_vecs embed(docs) query 本地跑大模型应该用什么工具 q_vec embed([query])[0] # 计算余弦相似度 scores (doc_vecs q_vec) / (np.linalg.norm(doc_vecs, axis1) * np.linalg.norm(q_vec)) idx int(np.argmax(scores)) print(f最相关文档{docs[idx]}) print(f相似度{scores[idx]:.4f})运行python rag_demo.py这个例子没有真正接入大模型只完成了“检索”这一步。完整问答还需要把检索到的文档拼到提示词里再调用 chat 接口。下面是完整版的核心片段context docs[idx] chat_payload { model: qwen2.5:7b, messages: [ {role: system, content: 请只根据以下资料回答问题资料中没有的信息不要猜测。}, {role: user, content: f资料{context}\n问题{query}} ], stream: False } resp requests.post(f{OLLAMA_URL}/api/chat, jsonchat_payload) print(resp.json()[message][content])到这里你已经拥有一个可以对话、画图、搜索文档的本地 AI 工作台。4.6 运行与验证小结完成以上步骤后你会得到一个可交互的本地聊天模型一个可复用的 Python 调用脚本一张由扩散模型生成的图片一个能找出“最相关文档片段”的检索脚本。这些都是 AI 工程实践中最基础的“积木”。真正的产品化无非是把这些积木按业务需求拼接起来。5. 常见问题与排查思路本地部署 AI 时新手遇到的问题通常集中在几个方面。下面通过表格快速定位再逐个展开。问题现象常见原因解决思路模型下载慢或失败网络连接不稳定、镜像源未配置更换网络或使用国内镜像源调用 API 报错 Connection refusedOllama 服务没启动先运行ollama serve显存不足模型过大或同时运行多个模型换小模型或者使用量化版本Ollama 没有使用 GPU驱动、ROCm/CUDA 后端未配置查看ollama ps确认设备图片生成黑图或崩图显存不足、采样步数太少、提示词不友好降低分辨率、增加步数、优化提示词模型回答一本正经地胡说幻觉缺少知识来源引入 RAG提供真实资料依赖冲突diffusers、torch 版本不匹配使用虚拟环境按官方文档安装5.1 模型下载慢国内下载 Hugging Face 或 Ollama 模型时经常遇到速度慢、中途中断的问题。可以优先使用镜像源。Ollama 本身也可以通过设置环境变量切换模型下载源但不同版本支持程度不同。通用建议是换一个稳定的网络环境使用支持断点续传的下载工具参考社区提供的镜像方案但不要使用任何涉及访问限制的工具。5.2 如何确认 Ollama 是否在用 GPU 运行在另一个终端执行ollama ps输出中会显示每个模型的PROCESSOR列如果显示的是 GPU说明已正确调用如果显示 CPU说明当前没有使用 GPU 加速。对于 AMD 显卡或 AMD Ryzen AI 系列处理器是否能使用 GPU 或 NPU取决于 ROCm、Vulkan 后端和驱动的支持情况。不同版本的 Ollama 支持程度差异很大。如果ollama ps显示 CPU先不要急着换硬件可以按以下顺序排查确认驱动已更新到最新版本在 Ollama 官方文档中查找当前版本对 AMD 后端的支持说明尝试小尺寸模型例如 3B、7B 的量化版本降低对显存的需求。如果条件允许优先使用 NVIDIA 显卡它的 CUDA 生态最成熟踩坑最少。5.3 显存不足显存不足时错误信息通常直接提示 CUDA out of memory。解决办法换更小的模型例如从 14B 降到 7B使用量化版本例如 Q4_K_M关闭其他占用显存的程序图片生成时降低图片分辨率从 1024x1024 降到 512x512。5.4 生成结果质量差生成质量差不是一个单一问题。文本方面可能原因是提示词不够具体或者温度设置过高。图像方面可能原因是采样步数太少、负面提示词缺失、模型本身风格有限。这一类问题没有统一答案推荐做法是写实验记录固定种子、固定参数一次只改一个变量。这样你才能知道到底是哪个参数影响了结果。6. 最佳实践与工程建议6.1 内容安全与合规是底线AI 生成内容的能力越强越需要关注安全合规。无论你使用的是云 API 还是本地模型都要注意生成内容必须符合法律法规和社会公序良俗涉及用户隐私的内容不应直接发送给外部模型生产环境应对输入和输出做敏感内容过滤明确告知用户哪些内容是 AI 生成的。很多本地模型在安全对齐上不如商业 API 完善落地时必须自己做一层内容审核。不要默认“模型已经够安全”。6.2 用最小权限和测试环境保护生产系统当一个 AI Agent 需要调用数据库、支付接口、文件系统时一定要遵循最小权限原则Agent 使用的数据库账号只开放所需表和行权限涉及删除、更新操作前必须二次确认先在测试环境完整跑通再上生产生产环境变更前做好备份和回滚预案。AI Agent 的自主性来源于可以“调用工具”这也意味着它可能执行危险操作。工程上必须给它戴上“笼头”。6.3 关注版本与可复现性AI 领域的版本变化非常快模型权重会更新依赖库会升级API 参数会调整。建议你养成记录版本的习惯requirements.txt 中锁定具体版本号记录模型 ID 和下载时间图片生成时保存 prompt、negative prompt、seed、steps 等参数。这样你三个月后回看自己的项目还能复现当时的结果。6.4 从个人工具走向团队产品个人脚本和团队产品之间隔着工程化距离需要统一的大模型接入层避免每个服务各自调用模型需要接口鉴权、限流、熔断机制需要日志追踪记录每次请求的输入、输出、耗时和成本需要评估机制至少准备一批测试问题定期回归模型输出质量。如果你在团队中引入 AI我建议先从一个低风险场景切入例如“文档问答”“代码生成辅助”而不是一上来就让 Agent 直接操作核心业务流程。7. 总结与学习路线回到标题那句话AI 是否真的把人类从“人类性”中开除了从技术角度我看到的是AI 确实替代了大量重复性脑力劳动——写模板代码、做会议纪、生成初稿、整理信息。这些工作过去确实属于“人类能力”现在被模型以更快的速度完成。但“开除”说得太重了。AI 越普及人类需要承担的判断、设计、审核、纠偏责任反而越重模型可以画图但审美方向需要人类定模型可以写代码但架构决策和代码审查需要人类做模型可以回答但事实核验和风险判断需要人类兜底。对开发者来说真正应该焦虑的不是“会不会被开除”而是“是否只停留在被 AI 替代的那一层”。我建议的学习路线很朴素按顺序推进即可先跑通 Ollama部署一个 7B 模型亲手体验本地大模型学会用 Python 调用模型 API理解 prompt、temperature、Token 这些基础概念把模型接进一个具体场景例如文档问答或日志分析学习 RAG用检索降低幻觉这一步是很多 AI 应用落地的关键再往后可以接触 Agent 编排、模型微调、性能优化和 AI 工程化治理。在实际项目中我最大的体会是AI 应用开发的难点从来不在“调用模型”这一步而在于如何控制质量、如何管理成本、如何保证安全、如何评估效果。这些能力才是 AI 时代开发者最该积累的“人类性”。