一、AI大模型1.AI 系统设计的整体框架在工程抽象层面AI System Design从下到上通常可以概括为三类核心能力分层数据层Data Layer → 模型层Model Layer → 服务层Serving Layer服务层负责将模型能力封装成稳定接口并提供错误兜底工程视角下算法模块 一个“输入 → 输出”的计算单元IMOAI 功能的最小工程单元IMOInput–Model–Output是 AI 功能的最小闭环结构模型组建的最小工程单元输入→表征→推理→输出InputI系统提供给 AI 的输入数据ModelM实现智能的模型/算法/策略组合OutputOAI 给系统的输出预测/决策/生成内容2.AI模型完整工作流程【重点】数据准备采集、清洗、标注数据集模型训练Training利用训练数据通过反向传播不断更新模型权重让模型学习规律。微调Fine-tuning基于预训练大模型使用自有小规模数据继续训练适配特定任务。模型评估与验证在测试集检验精度、召回率等指标筛选可用模型。模型部署上线 → 推理Inference【线上生产阶段】固定模型参数接收用户实时请求直接计算输出预测结果不更新权重。线上监控、数据回流收集线上真实样本定期迭代回到步骤 2/3 重新训练微调形成闭环。二、HuggingFaceHugging Face并不仅是一个“模型下载网站”而是一套围绕模型工程化构建的基础设施。传统软件开发程序员在 GitHub 上寻找开源代码、管理项目版本。大模型时代开发AI 工程师在 Hugging Face 上寻找预训练模型Models、下载训练数据Datasets、分享微调后的成果。模型 一个可以被调用、被替换、被组合的组件Pipeline 是 HuggingFace 提供的一种“任务级接口”。三、大模型任务推理通用流程图【标红】四、模型选择与模型评估1.模型参数量代表的是能力上限而不是具体任务效果。所以参数量并不是越大越好模型越大不代表系统越好而是系统为能力付出了更高代价。2.推理速度慢不只是算力和GPU的问题输入形式等也会有显著影响模型不变光是改变使用方式就足以让系统快慢差出几倍。因此性能优化往往来自prompt 设计、信息筛选、上下文组织而不只是升级硬件。*五、API交互基础APIApplication Programming Interface应用程序编程接口1.参与方1Client食客请求发起方你本人、浏览器、App、Python 程序、Postman共同点负责“点菜/下单”不负责做菜。2Server厨房请求处理方Server服务端是真正干活的一方。 就是“做菜的人”3API服务员请求与响应的标准入口为了方便理解可以把 API 类比成餐厅里的服务员负责把请求点单送到厨房再把响应结果带回来。严格来说API 不是一个具体的“人”或“程序”而是一套供客户端调用服务端功能的接口规范。告诉你有什么接口、要传什么参数、会返回什么结构。4JSON出菜格式标准化的餐盒厨房端出来的结果需要一种统一格式最常见的就是JSON。 它相当于“摆盘标准”字段清晰、机器易解析、人也能看懂。2.调用一次API要把一次 API 调通本质上就把下面 4 件事填完整①URL接口入口你要调用哪个接口Base URLhttps://api.deepseek.comPath/chat/completions完整 URLhttps://api.deepseek.com/chat/completionsBase URL Path 共同组成一个 Endpoint接口地址每个 Endpoint 通常对应一种能力。②Method怎么调用通常只记两种GET获取数据POST提交数据LLM 请求一般用 POST③Headers请求元信息Headers 是请求的附加信息告诉服务端这个请求是谁发的、发的是什么格式。④参数请求数据把提示词与参数装进结构化数据典型字段model、messages、temperature、max_tokens 等Body 就是“结构化点菜单”处理请求后服务器返回一个HTTP响应响应通常包含状态码:200 OK表示成功401 Unauthorized表示API密钥无效403 Forbidden表示无权限访问429 Too Many Requests表示速率限制500 Internal Server Error表示服务器内部错误。响应体:通常也是JSON格式包含LLM生成的输出这可能包括文本补全、使用统计token计数以及生成停止的原因等。响应头也会带一些元信息但本节主要关注“状态码 响应体JSON”六、LangChain【重点】LangChain 可以理解为一个专门用于开发大模型应用的工具框架。它本身不是大模型而是帮助开发者把 Prompt、模型、知识库、工具等能力组合起来构建完整的大模型应用。它可以帮助我们完成调用模型——管理对话——调用工具——构建工作流——调试与评估应用结合LangSmithLangChain 生态中专门用于调试、测试、评估和生产部署的可观测性平台叫做 LangSmith在 AI 开发三层模型中最底层是模型提供商的 API中间层是 LangChain最上层则是负责复杂 Agent 工作流的LangGraph七、几个重要模型1.transformerTransformer 是基于自注意力机制搭建的深度学习模型处理文本序列时能并行扫描全部输入捕捉单词之间远距离关联是大语言模型GPT、LLaMA的基础架构。Transformer 两大核心模块多头自注意力捕捉全局词语关系 FFN 前馈网络单独加工每个词特征1Transformer 整体结构原始 Transformer 由两大模块构成BERT →纯 Encoder双向理解文本GPT 系列 →纯 Decoder单向生成文本T5、BART →EncoderDecoder完整架构机器翻译2.GPTGPT 是基于 Transformer Decoder解码器结构做的大语言模型专门用来生成文本、续写、对话。采用单向自注意力预训练为因果语言模型(CLM)逐 token 预测下文八、Python for AI在大模型应用中Python 只是工具核心是“输入 → 处理 → 输出”编程本质 一个函数Function其包含输入工作和输出语言不同但编程的本质完全一样语法不是能力本身而是工具细节。不值得把大量精力花在记语法上样板代码可以交给编辑器、框架工具、生成式 AIAI 时代编程不是写代码而是设计流程tips.乱七八糟的知识点【重点】1.激活函数是给神经网络引入「非线性能力」。没有激活函数再多网络层等价于单层线性模型只能解决线性问题。2.工程师常说模型在工程中是行为可控的这主要是因为模型在推理阶段遵循y model(x)3.神经网络处理数据时最常见的基本数值结构通常是张量(Tensor)统一规范的多维数组神经网络所有输入、权重、中间计算结果全都用张量存储4.在 PyTorch 训练流程中执行loss.backward( )的目的是计算各个参数的梯度5.练神经网络的四个核心步骤是前向传播 → 计算损失 → 反向传播 → 更新参数6.几种模型处理机制FFN 前馈神经网络对单个位置的特征独立做非线性变换Attention 注意力机制处理一个词时同步遍历整条序列CNN 卷积神经网络依靠滑动窗口提取局部邻近特征RNN 循环神经网络按顺序逐词串行处理文本只能逐步传递信息7.从文本到向量的流程中正确顺序是文档加载——Cleaning文本清洗 → Chunking文本分块 → TokenizationToken 分词 → Embedding嵌入向量化这是rag索引构建阶段注意区别SQL执行其不属于RAG后面是检索生成阶段8.带重叠的文本切分(Overlap)的主要作用是保留上下文信息9.chunk_size过大或者过小都会导致检索不精确10.RAG Retrieval-Augmented Generation中文检索增强生成大模型先去外部知识库检索资料再结合检索到的资料来生成答案解决大模型 “知识过时、会幻觉、不能读取私有文档” 的问题。第一步便是从文本到向量的流程中包含的步骤。11.在工程实践中中文 chunk 的常见长度范围是300-800字12.TextSplitter 的核心设计目的不包括提高SQL执行速度如果使用错误的 tokenizer会导致token ID 与模型语义不匹配13.Token 在模型中的本质是数字编号其数量会影响推理成本、GPU显存、推理速度14.Embedding 向量的基本特性是语义相似 → 向量距离近\方向相近Embedding 向量通常是高维浮点向量15.神经网络只能处理数值张量且向量化能保留语义相似关系所以AI 系统需要把文本转换为向量16.Embedding 的维度越高通常意味着成本更高存储、内存、算力、检索耗时全部上升17.在向量检索系统中最常用的相似度计算方式是余弦相似度18.SDK 本质上是对 API 的封装方便开发者调用19.DocumentLoader的作用是加载文档将非结构化文件(如 PDF)转换为 LangChain 可处理的对象20.加载一个目录下所有 .txt 文件的 Loader 是DirectoryLoader21.在本地使用 Ollama 运行量化模型时最常用的模型文件后缀格式是.gguf22.在检索增强生成(RAG)系统中负责将用户问题转化为向量以便在数据库中搜索的模块通常选用Encoder-only23.在工程实践中微调(Fine-tuning)的首要目标通常是让模型的输出格式和行为变得稳定、可预测24.相比于全量微调LoRA(低秩自适应)微调的主要优势包括显存需求大幅降低、微调产物(Adapter)体积小便于版本管理、训练速度更快25.PEFTParameter-Efficient Fine-Tuning参数高效微调的Adapter(适配器)通常具有可插拔、可切换、支持快速回滚的特性26.因为微调可以用短 Prompt 替代冗长的 Few-shot 指令减少 Token 消耗所以说微调可以降低工程成本27.量化 把模型权重从高精度浮点数转换成更低比特的低精度数值即改变数值的位宽(Bit-width) 目的减小模型体积、降低显存占用、加速推理代价是轻微损失精度量化后的模型在逻辑推理上可能会有轻微下降28.在量化格式中BF16 相比于 FP16 的主要优势是它保留了与 FP32 相同的指数位数(范围)训练时更稳定29.蒸馏过程中引入温度系数(Temperature, T)的主要目的是让 Softmax 输出的概率分布变得更加平滑从而暴露暗知识30.MCP Model Context Protocol模型上下文协议的作用是远程工具接入如接入agent31.LCEL 中|表示管道连接(Runnable 协议)LCEL 的核心设计思想借鉴了Unix 操作系统的管道(Pipeline)其核心优势是数据流可读性强(可插入监控和调试)LCEL 中 model 的输入类型是PromptValue / messages32.LangChain的核心作用是编排LLM应用33.LangChain 中 messages 的本质是结构化对话SystemMessage的作用是定义模型行为(控制模型行为)34.PromptTemplate的作用是模板化PromptChatPromptTemplate的核心特点是多角色结构化本质是结构化消息模板MessagesPlaceholder用于插入历史消息35.PydanticOutputParser的作用是解析并校验模型输出使其符合 Pydantic 数据结构36.如果 Prompt 没有 system role可能导致行为不稳定37.RunnablePassthrough的作用是保留原始输入38.Tool 的本质是外部能力函数39.使用tool 装饰器定义工具时模型主要通过函数的名称和 Docstring(文档字符串)描述来判断什么时候该用这个工具40.在 LangChain v1 中创建一个具备工具调用和系统角色的智能体标准入口函数是create_agent( )41.在 AI 应用栈的三层结构中LangGraph主要负责复杂的状态流转、循环执行与 Agent 编排LangGraph 节点(Node)输入是完整的 State输出是包含要更新字段的字典42.在向量检索系统中Top-K的含义是返回最相似的K条结果43.向量数据库中维度的含义是向量长度44.向量数据库中除了存储高维向量通常还会存储元数据(Metadata)其主要作用是存储文本来源、标签等辅助信息方便后续过滤与溯源45.在向量检索系统中使用ANN算法近似最近邻的主要原因是数据规模很大建图、索引、桶算法常用于ann搜索算法46.FAISS主要解决的问题是高效向量检索FAISS Facebook AI Similarity SearchFacebook开源的稠密向量相似检索工具库47.Product Quantization算法的主要作用是向量压缩48.RAG中上下文注入指的是拼接检索内容到Prompt上下文注入的位置是检索之后49.Retriever检索器作用是检索相关文档Retriever 返回的内容最终会被拼接进 Prompt