不能做什么。但只要你开始深入使用、部署、学习大模型就会频繁遇到这些词Token、上下文长度、Embedding、预训练、微调。它们是大模型的“底层语言”不懂这5个概念就很难真正理解大模型。这篇文章不讲复杂公式、不堆专业术语用大白话生活例子带你彻底吃透。一、Token大模型眼里的“文字单位”1. 什么是TokenToken词元是大模型处理文本的最小单位。模型不直接认识汉字、英文单词它只认识Token。可以简单理解为汉字 ≈ 1个Token英文单词 ≈ 1个Token数字、符号、标点 ≈ 1个Token2. 官方换算规则1个中文字符 ≈0.6个Token近似1个1个英文字符 ≈0.3个Token日常使用可以直接记1个汉字 ≈ 1个Token3. 为什么要懂Token计费API按Token收费输入输出限制模型一次能处理的文字上限由Token决定效率文本越长Token越多推理越慢举个例子“人工智能正在改变世界”分词后人工、智能、正在、改变、世界 →5个Token一句话总结Token就是大模型的“文字货币”一切计算、长度、费用都按它算。二、上下文窗口Context Window模型一次能“记住”多少内容1. 什么是上下文窗口上下文窗口 模型单次推理能处理的最大Token总数。它包含两部分你输入的内容问题、文档、对话历史模型输出的回答两者加起来不能超过上限。2. 常见上下文长度小模型2K、4K、8K通用模型32K、64K长文本模型128K、256K、1M以上64K Token ≈4.8万字128K Token ≈9.6万字3. 上下文窗口决定什么能不能读完整篇长文档能不能记住多轮对话能不能处理长代码、长报告能不能做复杂的总结与分析比如你让模型读一份10万字的报告如果模型只有64K窗口就读不完必须分段处理。一句话总结上下文窗口越大模型“一次性看懂”的内容越多处理长文本越强。三、Embedding向量化把文字变成模型能懂的数字1. 什么是EmbeddingEmbedding词嵌入/向量化就是把文字变成高维向量。模型不认识文字只认识数字所以必须做这一步。通俗理解文字 → 编码 → 一串数字如 [0.2, -0.5, 0.7, ...]这串数字能保留语义意思相近的词向量距离很近2. 向量化有什么用让模型理解词语之间的关系近义词、反义词、上下位支持语义检索搜意思不搜关键词是RAG知识库的核心基础所有多模态模型图文、音视频都依赖它3. 文本处理标准三步流程分词把句子切成Token映射ID给每个Token一个唯一编号Embedding把编号变成高维向量一句话总结Embedding就是把人类语言“翻译”成机器语言是大模型理解语义的关键。四、预训练Pre-training大模型“学会知识”的阶段1. 什么是预训练预训练是用海量文本让模型从零学到语言规律与世界知识的过程。这是大模型最耗时、最烧钱、最核心的一步。2. 预训练学什么语法、逻辑、常识世界知识历史、地理、科技、文化语言风格、行文结构代码、专业领域知识训练目标非常简单根据上文预测下一个Token。3. 预训练的特点数据量数千亿数万亿Token硬件上千张A100/H100 GPU时间数周到数月结果得到一个基础模型Base Model它会续写文本但不一定听懂人类指令。一句话总结预训练 大模型“上小学到博士”把人类所有知识学一遍。五、微调Fine-tuning让模型“听懂人话、乖乖做事”1. 什么是微调微调是在预训练模型基础上用高质量指令数据让模型学会遵循人类意图。最常见的叫SFT监督微调。2. 微调做什么让模型听懂指令“总结”“翻译”“写代码”“解释”让输出更规范、更安全、更有用适配特定场景客服、法律、教育、代码例子输入复旦大学有几个校区输出复旦大学有4个校区……模型从“随机续写”变成“准确回答”。3. 微调 vs 预训练预训练学知识耗时长、成本极高微调学指令耗时短、成本低顺序先预训练再微调一句话总结预训练让模型“有知识”微调让模型“懂指令、会干活”。六、5大概念串起来大模型工作的完整流程用一段极简流程帮你打通逻辑你输入文字 →分词成Token文字转为Embedding向量模型在上下文窗口内读取信息模型用预训练学到的知识理解语义模型用微调学到的规则生成回答这就是大模型从输入到输出的完整过程。七、总结5句话背下大模型核心Token是模型的最小文字单位决定长度与费用。上下文窗口是模型一次能处理的最大文本长度。