一、认识模型模型的特点1.特定任务一个模型通常只擅长一件事如一个模型专门识别图片内容是否为猪一个模型专门用于预测明日天气2.需要“标注数据”训练这种模型需要大量“标准答案”如模型识别图片内容前需要成千上万张已经标注好”是猪“或者”不是猪“的图片3.参数较少参数是模型从数据中学到的“知识要点“或”内部规则“参数较少说明模型的复杂度和能力相对有限二、认识大语言模型LLM大语言模型LLM基于大规模神经网络参数通常达数十亿至万亿级别例如GPT-3包含1750亿参数通过自监督或半监督方式对海量文本进行训练的语言模型。1.主流的大语言模型‑ GPT‑5OpenAI支持 400K 背景信息长度128k 最大输出标记在多轮复杂推理、创意写作中表现突出‑ DeepSeek R1深度求索开源专注于逻辑推理与数学求解支持 128K 长上下文和多语言20 语言科技领域表现突出‑ Qwen2‑7.2B‑28‑Instruct阿里通义千问通义千问开源模型家族重要成员擅长代码生成结构化数据如 JSON处理角色扮演对话等尤其适合企业级复杂任务支持包括中英文法语等 29 种语言‑ Gemini 2.5 ProGoogle多模态融合标杆支持图像 / 代码 / 文本混合输入适合跨模态任务如图文生成、技术文档解析其他参考 Huggingface LLM 性能排行榜https://huggingface.co/spaces/AritificialAnalysis/LLM‑Performance‑Leaderboard2.LLM的能力包括哪些2.1基础基础能力段入门级所有主流 LLM 标配自然语言常规处理多语种翻译、日常文本润色、错别字修正、句式改写、段落摘要、长短文的概括与扩写适配中英在内几十种语种参考 Qwen 支持 29 种语言的特性常规问答解答通识科普、生活常识、基础文史类问题简单格式输出输出 Markdown、普通 JSON、列表、表格等基础结构化内容完成简单文案撰写如邮件、通知、普通文案、日常角色扮演对话基础上下文记忆短轮次对话记住前文上下文承接用户多轮日常提问常规上下文窗口大多起步就能达到几十 K token2.2进阶通用能力段主流开源 / 商用成熟 LLM 普遍具备长上下文深度理解依托上百 K 级别上下文窗口GPT-5 可达 400K、DeepSeek/Qwen 支持 128K 上下文阅读整本书、超长合同、完整项目文档、长篇代码库做全局分析、细节溯源代码工程能力编写多编程语言代码、排查 bug、解读开源项目、生成结构化 JSON 配置适配后端、脚本、前端各类开发场景适配企业常规开发任务中等难度逻辑推理完成初高中数学题、常规逻辑谜题、条件推理、业务方案推演DeepSeek R1 在数理推理方向这一块表现尤其突出常规多模态基础以 Gemini 2.5 Pro 为代表接收图片、截图、简单手绘图表识别图中文字、流程图、表格结合文本进行问答2.3高阶硬核能力段头部旗舰模型专属高强度复杂推理解决竞赛级数学、复杂算法推导、严谨数理证明、多层嵌套的业务逻辑推演内置专门推理耗时排行榜表格中单独统计了 reasoning time 推理耗时长链路思考降低推理出错率深度多模态融合同时接收代码、高清图像、PDF 文档、流程图、公式等混合形式输入完成图文联动任务比如依据设计图写代码、解析技术手册配图撰写开发文档、复杂图纸解读超长多轮对话保持一致性几十轮以上对话稳定记住用户设定的人设、项目约束、前置细节不会遗忘前置要求适配长期角色扮演、长线项目沟通复杂结构化输出输出格式严苛的 JSON Schema、专业报表、技术规格书适配企业级正式业务落地2.4垂直专项细分能力段面向行业场景定制优化科研学术方向研读论文、整理文献综述、推导实验方案、润色学术英文稿件企业商用方向生成合规合同、搭建客服对话体系、处理大批量业务文本、做舆情文本分析创意创作方向长篇小说连载、剧本撰写、风格可控的诗歌、广告创意设计GPT-5 创意写作能力较强工程落地方向适配本地化私有化部署DeepSeek、Qwen 开源版优势明显、微调适配细分行业知识库、接入业务 API 完成工具调用2.5局限短板能力上限分段边界1.基础段局限上下文短的时候容易遗忘很早的对话细节2.进阶段局限极端冷门专业领域、时效性极强的实时资讯容易出错出现幻觉3.高阶段局限极其复杂的硬件底层设计、高精度物理仿真依旧薄弱4.垂直段局限没有微调的原生模型行业专属术语、内部业务规则掌握不够精准需要二次微调优化3.提示词的编写技巧提示词编写宗旨将提出的问题限定范围让AI知道目的答案具体要包含什么提示效果会大幅提升。3.1CO-STAR结构化框架在目标设定和问题解决的场景下清晰性和结构性是至关重要的。而有一种方法论在这些方面表现都非常出色那就是 CO‑STAR 框架。这个提示词编写框架由新加坡政府技术局GovTech的数据科学与 AI 团队开发重点在于确保提供给 LLM 的提示词是全面且结构良好的从而生成更相关和准确的回答。CO‑STAR 可以拆解为六个维度。3.2少样本提示/多样例提示这种方式通过给 AI 提供一两个输入‑输出的例子让它 “照葫芦画瓢”。 核心思想你不是在给它下指令而是在 “教” 它你想要的格式、风格和逻辑。 适用场景格式固定、风格独特、逻辑复杂的任务如风格仿写、数据提取、复杂格式生成。例如 优化前零样本提示 2 ♥ 9 等于多少优化后少样本提示 根据以下示例处理问题。 示例 12 ♥ 3 5 示例 24 ♥ 7 11 现在请分析这个2 ♥ 9 等于多少3.3思维链提示提示工程的关键目标是让 AI 更好理解复杂语义可以通过模型处理复杂逻辑推理题的表现来检验。 可以这样理解优质的提示词能够帮助模型解决原本解决不了的难题也就说明它确实提升了模型的推理水平。并且提示词设计得越出色这种提升效果就越显著。通过设置不同难度的推理测试可以清晰地验证这一点。单个例子论文来源Large Language Models are Zero‑Shot Reasoners(c) Zero‑shotQ: A juggler can juggle 16 balls. Half of the balls are golf balls, and half of the golf balls are blue. How many blue golf balls are there? A: The answer (arabic numerals) is ___ (Output) 8 ×错误翻译问题 杂耍者可以抛接 16 个球。其中一半的球是高尔夫球一半的高尔夫球是蓝色的。请问总共有多少个蓝色高尔夫球 推理结果8 个蓝色高尔夫球零样本直接回答答案错误原理讲解零样本模式下大模型会直接给出最终答案容易跳过中间思考步骤简单粗略计算16÷28得到错误结果。思维链CoT提示的思路在提示词里引导模型分步思考写出推理过程再给出最终答案。 优化后提示示例请一步步思考分步写出推理过程最后给出答案。 杂耍者可以抛接 16 个球。其中一半的球是高尔夫球一半的高尔夫球是蓝色的。请问总共有多少个蓝色高尔夫球正确推理步骤1.总球数 16 个一半是高尔夫球16÷28个高尔夫球2.高尔夫球里一半是蓝色8÷24 最终正确答案4通过这个例子可以观察到这就好像是 “把答案告诉了 AI”。从某种意义上说你告诉它的是 “回答这个问题的正确方式和步骤”而不仅仅是最终的答案AI 会模仿你提供的范本结构和逻辑来解决新问题。实际上Few‑shot‑CoT 的方式虽然有效但不一定是稳定且准确的。如果想要得到稳定的正确答案需要更高阶的提示方法。你给的例子越详细它模仿得就越像这更像是一种 “教学” 或 “格式化”。当你有一个非常复杂的逻辑流程或者你希望 AI 严格按照某种格式比如先分析 A再对比 B最后总结 C来输出时就可以直接提供一个完美的思考过程作为范例。3.4自动推理与零样本链式思考零样本思维链Zero‑shot‑CoT是少样本思维链Few‑shot‑CoT的简化版。只需在提示词末尾加上一句魔法短语请一步步进行推理并得出结论强制 AI 在给出答案前先进行内部推理即可激发 AI 的推理能力。核心思想通过指令”一步步进行推理并得出结论“强制AI在给出答案前先进行内部推理。使用场景任何需要一点逻辑思考的问题。例如罗杰有五个网球他又买了两盒网球每盒有 3 个网球请问他现在总共有多少个网球请一步步进行推理并得出结论。AI 的输出可能会变成 罗杰最初有 5 个网球。 他买了两盒网球每盒有 3 个网球所以买来的网球数量是2×36 个网球。 因此他现在总共有网球5611 个。 答案11 个网球。“一步步进行推理” 这个指令相当于在引导模型的注意力机制。它告诉模型在生成最终答案之前请先在你的脑海里即生成的文本序列中模拟出一个缓慢、有序的推理上下文。 当模型开始输出 “第一步… 第二步…” 时它实际上是在为自己创造一个更丰富、逻辑细化的上下文。它在这个自己创造的优质上下文里进行推理最终得出的结论自然比在贫瘠的上下文中只有原始问题更准确。3.5自我批判与迭代要求 AI 在生成答案后从特定角度对自己的答案进行审查和优化。核心思想将生成和评审两个步骤分离利用 AI 的批判性思维提升内容质量。 适用场景代码审查、文案优化、论证强化、安全检查。案例编写一段代码后进行检查优化前写一个 Python 函数计算列表中的最大值。优化后请执行以下两个步骤 步骤一编写代码 写一个 Python 函数 find_max用于计算一个数字列表中的最大值。步骤二自我审查与优化 现在请从代码健壮性和可读性的角度审查你上面编写的代码。请回答如果输入是空列表函数会怎样如何改进变量命名和代码结构是否清晰能否让它更易于理解请根据你的审查给出一个优化后的最终版本。在实际应用中这些技巧常常是组合使用的。例如我们可以使用 CO‑STAR 框架设定基本结构和角色。在框架的 “Steps” 或 “Response” 部分融入思维链指令。对于格式复杂的输出在最后附上少样本示例。最后要求 AI 进行自我审查。4.LLM的接入方式4.1API接入API 接入是主流简便的大模型接入方式通过RESTful HTTP 接口调用云端部署的大模型无需本地部署模型、不用管理显卡等硬件资源适合快速开发、项目系统集成。 主流厂商接口OpenAIGPT‑4o、AnthropicClaudeGoogleGemini、百度文心一言、阿里通义千问、智谱 AI典型流程获取密钥 API‑Key在模型厂商官网注册账号申请身份验证密钥用于接口鉴权。查阅官方 API 文档文档标注接口请求地址、可传参数模型名称、提示词、最大生成长度、温度系数等以及接口返回的数据格式。构造 HTTP 网络请求借助编程语言的网络请求库Python‑requests 库在请求头 Header 中携带 API‑Key请求体 JSON 格式传入提示词等参数向接口地址发送网络请求。接收并解析响应数据接口返回 JSON 格式数据程序解析 JSON提取模型生成的文本结果。4.2本地接入大模型本地部署这种方式就是将开源的大型语言模型如 Llama、ChatGLM、Qwen 等部署在你自己的硬件环境本地服务器或私有云中。核心概念就是将下载模型的文件权重和配置文件使用专门的推理框架在本地服务器或 GPU 上加载并运行模型然后通过类似 API 的方式进行交互。典型流程是1、获取模型从 Hugging Face国外、魔搭社区国内等平台下载开源模型的权重。平台参考本篇第四节2、准备环境配置具有足够显存如 NVIDIA GPU的服务器安装必要的驱动和推理框架。3、选择推理框架使用专为生产环境设计的框架来部署模型例如‑ vLLM特别注重高吞吐量的推理服务性能极佳。‑ TGIHugging Face 推出的推理框架功能全面。‑ Ollama非常用户友好可以一键拉取和运行模型适合快速入门和本地开发。‑ LM Studio提供图形化界面让本地运行模型像使用软件一样简单。4、启动服务并调用框架会启动一个本地 API 服务器如 http://localhost:8000你可以像调用云端 API 一样向这个本地地址发送请求。4.3SDK接入这并非一种独立的接入方式而是对第一种 API 接入的封装和简化。模型提供商通常会发布官方编程语言 SDK为我们封装好了底层的 HTTP 请求细节提供一个更符合编程习惯的、语言特定的函数库。典型流程以 OpenAI Python SDK 为例安装库pip install openai安装 OpenAI SDK 后可以创建一个名为 example.py 的文件并将示例代码复制到其中from openai import OpenAI client OpenAI(api_keyyour‑api‑key) response client.responses.create( modelgpt‑3.5, input介绍一下你自己。 ) print(response.output_text)相比直接构造 HTTP 请求代码更简洁更易读更易维护。4.4如何选择接入方式对于以上三种接入方式该如何选择看数据敏感性如果数据极其敏感必须留在内部本地部署是唯一选择。看技术实力和资源如果团队没有强大的 MLops机器学习运维能力也没有预算购买和维护 GPU 服务器云端 API 是更实际的选择。看成本和规模如果应用规模很大长期来看本地部署的固定成本可能低于持续的 API 调用费用。反之小规模应用 API 更划算。看定制需求如果只是使用模型的通用能力云端 API 足够。如果需要用自己的数据微调模型则需要选择支持微调的 API 或直接本地部署。4.5以上接入方式存在的问题上下文长度限制所有大模型都存在 Token 上下文窗口上限。即使 GPT‑5 最大上下文窗口为 400000依然存在长度上限。无法一次性将整本几百页的文档、海量资料全部一次性输入模型。缺乏私有知识模型的训练数据存在截止日期模型知识库是固定的。模型无法获取企业内部文档、私人笔记、最新资料。想要模型基于私有内部数据进行问答原生模型很难直接实现。复杂任务处理能力弱原生 API 接口只能做一问一答。面对多步骤复杂任务例如分析财报、总结要点、生成 PPT 大纲需要人为拆解逻辑步骤多次调用 API手动管理中间状态。输出格式不可控即便通过提示词约束模型输出 JSON 或者特定格式大模型依然容易输出格式错乱、符号错误。需要额外编写代码做格式校验、清洗。为解决以上四个问题LangChain 框架应运而生。三、认识嵌入式模型1. 什么是嵌入式模型大语言模型是生成式模型。它理解输入并生成新的文本回答问题、写文章。它内部实际上也使用嵌入技术来理解输入但最终目标是 “创造”。而嵌入模型Embedding Model是表示型模型。它的目标不是生成文本而是为输入的文本创建一个最佳的、富含语义的数值表示向量。由于计算机天生擅长处理数字但不理解文字、图片的含义。嵌入Embedding的核心思想就是将人类世界的符号如单词、句子、产品、用户、图片转换为计算机能够理解的数值形式即向量本质上是一个数字列表并且要求这种转换能够保留原始符号的语义和关系。说明 文档 → Words单词→ Embedding嵌入→ 向量数组[0.023, 0.487, -0.129, ..., 0.325]示例文本This is a sentence我们可以把它想象成一个翻译过程把人类语言 “翻译” 成计算机的 “数学语言”。结论既然是 “数学语言”那么我们可以用数学的方式来比较向量从而达到【度量语义】的目的2. 核心基础嵌入式模型的文本向量生成逻辑自然语言本身是符号化、非结构化的离散信息计算机无法直接理解文字的语义、关联和内涵。嵌入式Embedding模型的核心作用就是将人类可读懂的文本字词、句子、段落转化为计算机可运算的高密度数值向量这也是文本语义度量的前置基础。整个生成过程的核心逻辑可分为三步文本预处理与编码模型对输入文本进行分词、去停用词、字符映射等处理将文本转化为模型可识别的初始token序列消除无效语义干扰统一文本输入格式。语义特征提取通过预训练的神经网络权重挖掘文本的深层语义特征包括词义、语境、语法关系、上下文关联等隐性信息区别于传统的词袋模型仅统计词语出现频率能够捕捉一词多义、近义替换、语境差异等复杂语义。映射为高维向量将提取到的多维语义特征映射成一组固定维度的浮点数数组即文本向量Embedding向量。例如常见的768维、1024维向量向量中的每一个数值都对应文本某一项隐性语义特征的量化表达。最终实现核心转化文本语义 → 高维空间中的坐标点。每一段独一无二的文本都会对应高维向量空间中一个独一无二的点位语义相近的文本对应的向量点位在空间中距离更近、夹角更小这也是我们能用数学公式度量语义相似度的核心前提。2.1 欧氏距离核心定义欧氏距离Euclidean Distance是高维空间中两个向量端点之间的直线绝对距离。针对文本语义场景两个文本向量的欧氏距离越小代表两段文本的语义整体差异越小、相似度越高距离越大语义差异越大。语义度量特性与取值规律取值范围[0, \infty)。当d0时两个向量完全重合代表两段文本语义完全一致距离数值越大语义差距越悬殊。核心特点同时兼顾向量方向和向量模长数值大小。向量模长代表文本的语义信息量、特征强度因此欧氏距离会受文本长度、语义丰富度影响。场景短板对于“语义方向一致、但文本长度/信息量不同”的文本欧氏距离会判定为差异较大。例如“我喜欢吃苹果”和“我超级喜欢吃红苹果”语义核心一致但后者向量模长更大欧氏距离会产生不必要的偏差。适用场景适合需要同时考量语义方向文本特征强度的场景比如文本去重、高度精准的语义匹配、短文本相似度对比、异常文本检测等。2.2 余弦相似度核心定义余弦相似度Cosine Similarity通过计算两个向量之间的夹角余弦值衡量向量的方向一致性。对应语义场景中仅关注两段文本的语义方向是否相同忽略文本长度、信息量带来的向量模长差异是自然语言处理中最主流的语义度量方式。语义度量特性与取值规律取值范围[-1, 1]。数值越接近1向量夹角越小语义越相似等于1时语义完全一致等于0时语义无关、相互独立接近-1时语义完全相反。核心特点只看方向不看模长。彻底屏蔽文本长度、语义丰富度的影响只聚焦核心语义的倾向性、一致性。场景优势完美解决欧氏距离的短板。针对“核心语义一致、表述长度不同”的文本如“今天天气很好”和“今日的天气十分晴朗”余弦相似度能精准判定为高度相似贴合人类语义认知。适用场景绝大多数文本语义匹配场景如智能问答匹配、文章相似度检索、语义聚类、推荐系统文本匹配、意图识别等是嵌入式模型落地中最常用的度量指标。3. 嵌入式模型的应用场景3.1 语义搜索Semantic Search传统搜索依赖关键词匹配搜索“苹果”只能找到包含“苹果”这个词的文档。语义搜索能将查询内容和文档都转化成向量通过计算向量间的相似度来找到相关内容即使文档中没有查询到确切词汇也能被检索到3.2 检索增强生成Retrieval-Augmented Generation,RAG这是当前大语言模型应用的核心模式。当用户向 LLM 提问时系统首先使用嵌入模型在知识库如公司内部文档中进行语义搜索找到最相关的内容然后将这些内容和问题一起交给 LLM 来生成答案。这极大地提高了答案的准确性和时效性。例如一家公司的内部客服机器人接到员工提问“我们今年新增加的带薪育儿假政策具体是怎样的” 系统会首先使用嵌入模型在公司的最新人事制度文档、福利更新备忘录等资料中进行语义搜索找到关于 “今年育儿假规定” 的具体条款然后将这些【条款】和【问题】一起提交给 LLMLLM 便能生成一个准确、具体的摘要回答而非仅凭其内部训练数据可能产生的过时或泛泛的答案。3.3 推荐系统将用户根据其历史行为、偏好和物品商品、电影、新闻都转换为向量。喜欢相似物品的用户其向量会接近相似的物品其向量也会接近。通过计算用户和物品向量间的相似度就可以进行精准推荐。例如一个流媒体平台将用户 A喜欢观看《盗梦空间》和《黑镜》和所有电影都表示为向量。系统发现用户 A 的向量与那些也喜欢《盗梦空间》和《黑镜》的用户向量很接近而这些用户普遍还喜欢《星际穿越》。尽管用户 A 从未看过《星际穿越》但通过计算用户向量与电影向量的相似度系统会将这部电影推荐给用户 A。3.4 异常检测正常数据的向量通常会聚集在一起。如果一个新数据的向量远离大多数向量的聚集区它就可能是一个异常点如垃圾邮件、欺诈交易。例如一个信用卡交易反欺诈系统通过学习海量正常交易记录如金额、地点、时间、商户类型等特征的向量形成了 “正常交易” 的向量聚集区。当一笔新的交易发生时系统将其转换为向量。如果该向量出现在 “正常聚集区” 之外例如一笔发生在通常消费地之外的高额交易系统则会将其标记为潜在的欺诈交易并进行警报。