AI 芯片算力体系的最小核心单元本文为《AI 硬件体系深度调研》系列第 04 篇。前三篇我们讲清了 AI 硬件全景与分类、为什么需要专用硬件、以及训练与推理的生命周期分野。从本篇开始正式进入芯片篇总纲——先把 AI 芯片这个最底层的原子讲清楚。黄金 100 字开头你是否以为AI 芯片就是显卡显卡就是 GPU其实这里面门道深得很。网上的科普常常把 GPU、NPU、TPU 全叫 AI 芯片却说不清它们的关系。本文作为芯片篇总纲带你看清 AI 芯片在整套硬件体系里的位置和分工。一、芯片是 AI 算力的原子先说结论AI 芯片是算力体系的最小核心单元是所有 AI 硬件的算力基础。这句话有两层意思。第一层芯片是最小的算力载体——它不能再往下拆了。加速卡、服务器、智算中心追根到底都是一颗颗芯片拼起来的。第二层芯片是核心的算力来源——上面所有东西都是芯片的封装、供电、散热、互联真正的乘加运算发生在芯片内部的晶体管里。1.1 先破一个误区AI 芯片 ≠ 显卡 ≠ GPU很多人的第一反应是“AI 芯片不就是显卡吗显卡不就是 GPU 吗”这是三个概念被混成了一个。它们的关系应该是GPU是一种芯片类型本质是图形处理器因为天然适合并行计算被借用来跑 AI显卡是一块板卡GPU 芯片焊在板卡上配上显存、供电、接口才成了能插进电脑的卡AI 芯片是一个用途概念凡是为 AI 计算设计或优化的芯片无论它叫 GPU、NPU、TPU 还是别的都属于 AI 芯片。打个比方GPU 是发动机显卡是整台车AI 芯片是为跑赛道专门调校过的车。发动机是车的核心但车不等于发动机同理GPU 是很多 AI 芯片的形态之一但 AI 芯片远不止 GPU。这个误区之所以流行是因为 AI 浪潮最早就是靠 GPU 掀起来的。十多年前深度学习研究者发现 GPU 的大规模并行架构特别适合矩阵运算于是纷纷拿它来训模型。久而久之跑 AI 用显卡就成了行业习惯GPU 也顺势成了 AI 芯片的代名词。但今天再看AI 芯片早已分化出 NPU、TPU、ASIC 等多个分支GPU 只是其中历史最悠久、生态最成熟的一个。1.2 GPU、NPU、TPU这些名字到底什么关系网上的科普常把 GPU、NPU、TPU 并列却说不清它们的区别。其实它们是从不同维度起的名字名称全称本质典型定位GPU图形处理器通用并行芯片被 AI 借用训练 云端推理NPU神经网络处理器专为神经网络加速端侧 / 边缘推理TPU张量处理器谷歌为矩阵运算定制的 ASIC云端训练 推理ASIC专用集成电路为某一算法定制的芯片特定场景极致能效看这张表就明白GPU 是多面手NPU 是端侧专精TPU 是云端定制。它们共同的底层任务都是高效执行矩阵乘加——这正是 AI 计算的核心。下一篇开始我们会沿着矩阵乘法这条线逐个拆解它们的架构。这里补充一个容易混淆的点GPU 和 NPU 的差别不在能不能算 AI而在为谁算、怎么算。GPU 保留了图形渲染的能力是AI 图形双栖选手所以通用性强、生态好NPU 则把图形那部分彻底砍掉只留神经网络加速所以在特定 AI 任务上更省电、更高效。一个胜在通用一个胜在专精没有绝对的好坏只有场景的匹配。1.3 为什么说芯片是原子化学里原子是保持物质性质的最小粒子。在 AI 硬件体系里芯片就是那个原子。往上看加速卡是芯片加显存加板载电路专用设备如训练服务器、推理一体机是多张加速卡加机柜加网络终端内置手机、摄像头是把芯片塞进更小的设备里。每一层都依赖芯片但芯片不依赖任何上层——它就是算力的源头。换句话说整个 AI 硬件产业的价值链都锚定在芯片上。芯片厂商定了架构加速卡厂商跟着做板卡设备厂商跟着做整机终端厂商跟着做产品。芯片一代代升级上层就一代代跟着迭代——这就是源头的含义。往下看芯片内部是晶体管、运算单元、缓存、控制器。但一旦拆到这个程度就不再是AI 硬件的范畴而是半导体工艺的范畴。所以在本系列里我们把芯片当作讨论 AI 硬件的最小颗粒从它往上逐层展开。还有一个更实际的理由所有关于 AI 硬件的选型、对比、优化最终都会落到芯片这一层。你要不要 HBM、要不要高速互联、能不能低功耗这些决定都在芯片设计时就已经定死了。上层再努力也改变不了芯片的架构基因。所以理解了芯片就等于握住了整套硬件的总开关。⚠️ 避坑警告不要一听到AI 芯片就去查 GPU 天梯图。AI 芯片的选型逻辑是先看任务训练还是推理、再看场景云端还是端侧而不是单纯比跑分。这一点看完本篇你会有体感。二、训练芯片与推理芯片的分野上一篇我们已经从生命周期的角度把 AI 硬件分成训练和推理两类。芯片作为最底层这个分野首先体现在芯片架构上——而且是本质性的取舍。2.1 训练芯片三高目标训练芯片的设计目标可以用三高概括高算力精度、超大内存带宽、多芯片高速协同。第一高高算力精度。训练要反向传播梯度层层相乘精度一旦崩了整个训练前功尽弃。所以训练芯片必须支持 FP16、BF16 甚至 FP32 的高精度浮点运算。芯片内部的乘加单元要按浮点精度去设计面积和功耗都更大。第二高超大内存带宽。训练每一步都要搬运海量的权重、梯度、激活值。如果片外内存带宽不够芯片内部算得再快也只能干等。所以训练芯片都配上 HBM 高带宽内存带宽动辄几个 TB/s。第三高多芯片高速协同。大模型动辄几千张卡一起训练芯片之间要频繁交换梯度。所以训练芯片必须内置高速互联接口让几千颗芯片像一颗一样协同。注意这三高不是孤立的三件事而是配套的算力高意味着数据吞吐大所以带宽必须跟上单卡算力再高大模型也放不下一张卡所以必须多卡协同。三者环环相扣少一样训练这台机器就转不起来。 一句话记忆训练芯片是三高芯片——高精度、高带宽、高协同样样都要顶配。拿一个具体数字感受一下三高旗舰训练芯片的 FP16 算力可达2000 TFLOPS每秒 2000 万亿次浮点运算显存带宽8TB/s卡间互联带宽1.8TB/s。这三个数字单看任何一个都是把硬件逼到极限的水平三个同时拉满才撑得起千亿参数模型的训练。训练芯片的每一瓦功耗、每一平方毫米硅面积都是围绕这三高去分配的。2.2 推理芯片三低目标推理芯片的设计目标正好相反是三低低延迟、低功耗、低成本。第一低低延迟。推理要秒回芯片必须让数据快速流到计算单元首字延迟控制在几百毫秒内。第二低低功耗。推理是 7×24 小时长跑功耗直接变电费。所以推理芯片普遍用 INT8、FP8 低精度整数运算把功耗压到几瓦到几十瓦。第三低低成本。推理要大规模铺量单颗芯片成本必须压下来才能支撑几十万颗的部署规模。 一句话记忆推理芯片是三低芯片——低延迟、低功耗、低成本能省就省。对比训练芯片的数字推理芯片则是另一番景象INT8 算力几百 TOPS 就够用功耗可以压到10W 以内单颗芯片成本能做到训练芯片的十分之一甚至更低。用十分之一的钱和百分之一的功耗去服务同样多的请求——这就是推理芯片存在的意义。它不是缩水的训练芯片而是为持续运营重新设计过的芯片。2.3 为什么是本质性取舍你可能会想能不能做一颗芯片既有训练芯片的高精度、高带宽又有推理芯片的低功耗、低成本答案是不能两全这是架构层面的本质取舍。原因很简单一颗芯片的晶体管预算、功耗预算、硅面积预算都是有限的。你把预算投给高精度浮点单元就没有余量去压功耗你把预算投给低功耗整数单元训练时精度就顶不住。展开说高精度浮点单元和低精度整数单元在晶体管预算上是竞争关系。你把浮点单元堆满功耗就下不来你把整数单元做主力训练精度就顶不住。芯片的硅面积是有限的把预算投给哪一边是设计阶段就必须做的抉择。这就好比装修房子预算 100 万你要么装成专业录音棚训练芯片隔音、声学、设备全拉满要么装成普通公寓推理芯片实用、省电、好维护。想用 100 万装一个既是录音棚又是公寓的房子结果只能是四不像。所以产业界的通行做法就是分开设计训练芯片走三高推理芯片走三低。这也是为什么你会看到同一家厂商既有面向训练的旗舰芯片又有面向推理的性价比芯片——不是厂商想割韭菜而是这两类芯片从架构上就不该共用。这种分开设计不是技术倒退恰恰是产业成熟的标志。早期大家只有一种芯片训练和推理都硬扛结果两头不讨好后来芯片设计走向细分训练芯片和推理芯片各走各路总体的性价比反而都上去了。这就跟餐饮细分一样大酒楼做宴席快餐店做盒饭各赚各的钱总比一家店什么都卖要专业得多。三、芯片在硬件分层中的位置理解了芯片是原子、分训练推理两类之后我们再把它放回整个硬件体系看它处于什么位置。3.1 四层架构芯片 → 加速卡 → 设备 → 终端整个 AI 硬件体系可以清晰地分成四层层级名称构成典型例子1芯片最小算力单元GPU / NPU / TPU2加速卡芯片 显存 板载电路训练加速卡、推理加速卡3专用设备多张加速卡 机柜 网络训练服务器、推理一体机4终端内置芯片嵌入终端设备手机 SoC、智能摄像头这四层是层层包裹的关系芯片是内核加速卡把芯片变成可插拔的部件专用设备把多张加速卡组成一个完整系统终端则把芯片直接焊进产品里。举一个贯穿四层的具体例子一颗训练芯片第一层被焊到加速卡上配上 80GB 的 HBM 显存和散热模组第二层再装进一个能插 8 张卡的训练服务器机箱第三层最后这个服务器被部署到智算中心对外提供训练服务终端形态。同一颗芯片从裸片到上线服务中间隔着三层工程每一层都在补芯片自身不具备的能力。3.2 每一层都在放大芯片的价值值得注意的是从芯片到终端每一层都在解决芯片本身解决不了的问题。芯片解决的是算得快加速卡解决的是存得下、供得上电专用设备解决的是多卡协同、规模化终端解决的是把算力塞进具体产品。反过来每一层也在消耗芯片的原始能力。一颗芯片的理论算力经过封装、供电、散热、互联、系统调度实际能发挥出来的往往只有百分之几十。这就是为什么你会看到同样一颗芯片在不同加速卡、不同设备里跑出来的性能差异巨大。比如供电芯片算得越快瞬间电流波动越大供电不稳就会降频散热芯片温度一高就必须降频保命互联多卡协同时数据交换一旦卡脖子单卡算力再高也是白搭。这些看不见的消耗正是硬件工程的价值所在——把芯片的纸面算力尽量无损地兑现成实际算力。 效率技巧评估 AI 算力时不要只看芯片标称算力TOPS/FLOPS要看整卡、整机的实际有效算力。裸芯片跑分和系统实测常常差出一个数量级。3.3 芯片层是牵一发动全身的那一层四层架构里芯片层是最底层也是最关键的一层。因为芯片的架构一旦定了上面三层的设计空间就基本锁死了。芯片是训练型还是推理型决定了加速卡配多少显存、设备怎么组网、终端能跑什么模型。上游芯片的一次架构迭代会像涟漪一样传导到整个硬件体系。这也是为什么我们把芯片作为芯片篇的第一篇——它是整个算力体系的地基地基的取舍决定了整栋楼能盖多高。举一个最直观的例子芯片是否内置高速互联接口直接决定了上层能不能做多卡训练服务器。如果芯片没有互联能力加速卡厂商再努力也没法把几十张卡拼成一个训练集群。芯片的一个接口设计就锁死了上层整整一条产品线的可能性。四、为什么芯片设计要场景化重构到这里你可能还有一个疑问CPU 不是也能跑 AI 吗为什么非要专门设计 AI 芯片答案是CPU 是通用计算的产物而 AI 是特定计算模式两者的需求根本对不上。4.1 CPU 的通用代价是什么都干不好CPU 的设计哲学是通用——它要能跑操作系统、办公软件、浏览器、游戏什么活都得接。为了实现这种通用CPU 把大量晶体管预算投在了复杂控制逻辑、分支预测、多级缓存上真正用于算术运算的单元只占一小部分。这就导致一个结果CPU 跑 AI 时大部分算力都被通用性消耗掉了真正用在矩阵乘加上的效率很低。打个比方CPU 是一把瑞士军刀什么都能干但切菜不如菜刀、拧螺丝不如螺丝刀。AI 计算恰恰是一种非常单一、非常规整的计算模式——大量矩阵乘加几乎没有分支——用瑞士军刀去切一整筐菜效率自然惨不忍睹。用数据说话一颗高端 CPU 的 FP32 算力通常在几 TFLOPS级别而一颗旗舰 AI 芯片的 FP16 算力能达到2000 TFLOPS——差了三个数量级。当然这不算公平对比因为 CPU 本就不是为 AI 设计的。但恰恰是这个不公平说明了问题用通用芯片跑专用任务本身就是最大的浪费。4.2 AI 计算的专一恰恰可以被专用吃透AI 计算有三个特点让专用芯片成为可能第一计算模式固定。无论是卷积还是 Transformer底层都是矩阵乘加没有复杂的控制流。专用芯片可以只做这一件事把它做到极致。第二数据流规整。AI 计算的数据是规整的张量可以高度流水线化。专用芯片可以设计出数据流驱动的架构让数据像流水线一样源源不断地流进计算单元。第三精度需求分层。训练要 FP16/BF16推理只要 INT8/FP8。专用芯片可以按场景选精度避免杀鸡用牛刀。这三点叠加意味着 AI 计算的确定性极高输入是张量、运算是指定精度、流程是固定顺序。确定性越高越容易被专用硬件吃透、榨干效率。正因为 AI 计算如此专一场景化重构才有意义——把通用 CPU 里那些为通用付出的开销全部砍掉把省下来的晶体管全部投给矩阵乘加。可以把专用芯片想象成只做一道菜的厨师他不需要备齐煎炒烹炸的所有工具只需要一口大锅、一把炒勺就能把这道菜做得又快又好。AI 芯片就是那个只做矩阵乘加这一道菜的厨师。 一句话总结CPU 是为通用而妥协AI 芯片是为专用而极致。场景化重构就是把通用的冗余换成专用的效率。4.3 场景化重构的具体体现芯片设计的场景化重构具体体现在三个层面架构层面把 CPU 的标量/向量计算单元换成大规模的矩阵乘加阵列。一颗 AI 芯片里可能密密麻麻排着几千个乘加单元专门做矩阵运算。存储层面把 CPU 的深层次缓存换成贴近计算单元的分层片上缓存让数据尽量少跑路。因为 AI 计算的数据局部性极强一次加载的数据会被反复使用。互联层面把 CPU 的通用总线换成专为多卡协同设计的点对点高速互联让芯片之间的数据交换不再是瓶颈。这三层重构下来同样面积的芯片AI 芯片的有效算力能比 CPU 高出几十倍甚至上百倍。这就是为什么专用能战胜通用——在 AI 这个特定战场上。需要注意的是场景化重构不是一劳永逸的。AI 算法本身也在快速演进——从 CNN 到 Transformer从稠密计算到 MoE 稀疏计算芯片架构必须跟着算法变。所以 AI 芯片的设计本质上是一场追逐算法的持久战今天的架构可能三年后就被新算法淘汰这也是这个行业既迷人又残酷的地方。五、本篇与后续篇章路标作为芯片篇的总纲本篇只解决一个核心问题AI 芯片是什么、分几类、处在什么位置。但芯片这个主题很大后面还有一连串更深入的篇章。5.1 芯片篇的完整地图本系列后续会沿着训练芯片 → 推理芯片 → 具体架构的路径逐层深入训练芯片下一篇讲它的五大核心模块——张量阵列、三级缓存、HBM 控制器、多芯片互联、全局控制单元再往后脉动阵列、张量核心、AI 加速卡、多卡互联、智算中心……一层层从芯片内核走向完整系统推理芯片讲 NPU 架构、端侧推理、低功耗设计直到手机里的 AI 算力。这套地图的编排逻辑是自底向上、先训练后推理先把训练芯片这个算力天花板讲透再讲推理芯片如何把算力塞进各种设备。跟着这个顺序读你会逐渐拼出 AI 硬件的完整版图。5.2 本篇你该带走的三个坐标读完本篇请记住三个坐标它们会贯穿整个芯片篇芯片 原子最小算力单元所有 AI 硬件的算力基础训练三高 / 推理三低架构取舍的本质分野四层架构芯片 → 加速卡 → 设备 → 终端芯片是地基。有了这三个坐标后面无论讲哪颗芯片、哪块卡、哪台设备你都能第一时间把它定位到正确的层级和阵营里。芯片篇的路很长但万变不离其宗算力从芯片来芯片为任务而分任务在层级里归位。记住这三句话后面每一篇都能稳稳接住。配图图 1AI 硬件四层架构图flowchart TB L4[第四层终端内置br/手机SoC / 智能摄像头 / IoT] -- L3[第三层专用设备br/训练服务器 / 推理一体机] L3 -- L2[第二层加速卡br/芯片 显存 板载电路] L2 -- L1[第一层芯片br/GPU / NPU / TPU / ASIC] L1 -- CORE[最小算力单元br/矩阵乘加阵列]自下而上芯片是内核加速卡是封装设备是系统终端是产品。每一层都依赖芯片但芯片不依赖任何上层。图 2训练芯片 vs 推理芯片 设计目标天平图quadrantChart title 训练芯片 vs 推理芯片 设计目标 x-axis 低功耗 -- 高算力 y-axis 低带宽 -- 高带宽 quadrant-1 训练芯片三高 quadrant-2 训练芯片三高 quadrant-3 推理芯片三低 quadrant-4 推理芯片三低 训练芯片: [0.9, 0.85] 推理芯片: [0.3, 0.4]训练芯片追求右上角的三高高精度、高带宽、高协同推理芯片守左下角的三低低延迟、低功耗、低成本。同一个芯片名词两个完全不同的设计目标。到这里本篇作为芯片篇总纲的任务就完成了。我们把一个看似简单的名词——AI 芯片——拆成了四个层次来理解它是什么最小算力单元、分几类训练三高、推理三低、处在哪四层架构的地基、以及为什么非它不可场景化重构战胜通用。这四个问题就是看懂整个芯片篇的钥匙也是后面每一篇的坐标系。写在最后AI 芯片是整个算力体系最小的、也是最核心的单元。它分训练与推理两大阵营坐落在四层架构的最底层靠场景化重构战胜了通用 CPU。看懂这三个坐标你就拿到了理解后面所有芯片、加速卡、设备的钥匙。【思考题】既然训练芯片和推理芯片架构取舍不同有没有可能用推理芯片偷偷跑小模型训练欢迎探讨。提示想想精度够不够、显存够不够、以及训练时反向传播对硬件的额外要求。【系列文章预告】下一篇深入训练芯片它的五个核心组成模块是怎样为海量矩阵乘法服务的。标签AI芯片、训练芯片、推理芯片、算力单元、GPU、NPU、硬件分层AI 芯片是算力体系最小核心单元是所有 AI 硬件的算力基础分训练芯片高算力精度超大内存带宽多芯片高速协同与推理芯片低延迟低功耗低成本架构存在本质性取舍整个硬件体系分层为芯片→加速卡→专用设备→终端内置。