存力接棒算力，HBM为什么“脱颖而出”？

站在当前时点回望2025年下半年，AI硬件产业链正经历一个关键转折：此前，以英伟达GPU为代表的“算力”是AI硬件的核心；此后，内存（DRAM）、闪存（NAND）和硬盘（HDD）等“存力”则取而代之，成为整个产业链的最大瓶颈。

数据显示，自2025年9月后的半年内，DDR5内存价格飙涨约7至9倍，同期NAND闪存价格也有4至5倍的涨幅。相应地，美光和海力士这两家内存龙头企业的股价在短短半年内一度上涨约10倍。

近期，海豚君终于对这一轮轰轰烈烈的存力周期进行了研究和复盘，并展望后续走势，启动了一个大型主题系列研究。此前，我们已以闪迪为对象，初步探讨了NAND闪存的情况（详见链接）。

本篇将开启对更稀缺的高性能内存HBM的探讨。作为首篇，我们将从底层技术角度出发，主要讨论以下几个问题：

1. 为什么近一年，AI对存力的需求“突然”爆发？AI大模型对内存的核心要求是什么？
2. 为什么HBM（高带宽内存）成为当前高性能GPU的首选内存规格？是什么技术让它脱颖而出？
3. HBM采用的技术有哪些难点和代价？对内存产业链和厂商有怎样的潜在影响？

以此夯实理解基础，以便在后续系列中进一步探讨行业技术演进路线、不同厂家的差异，以及最终对投资逻辑和投资的影响。

以下是详细分析

01 “存力”何以成为最大瓶颈？

随着AI技术演进，对内存/闪存的需求出现爆炸式增长，以至于“存力”一度被视为比“算力”更大的瓶颈。那么，为什么AI对存力的需求和性能要求似乎“一夜之间”突然暴涨？这可以从两个角度理解：一是需要更多的内存容量，二是需要更快的数据传输速度。

更多的内存需求

概括来说，对更多内存容量的需求主要源于模型参数走高、模型上下文规模提升，以及Agent带来的更多工作流。

a. 模型参数：首先，AI大模型对内存的第一块需求是存储模型的全部参数。这部分内存容量的计算逻辑相对简单，近乎与参数量线性正相关，只取决于模型总参数量和存储每个参数所需的字节量。

但由于大模型能力进化的需要，旗舰级模型的总参数量在过去3至4年间增长了约几十倍。以我们熟悉的Qwen模型为例，从第一代Qwen到最新的Qwen3.8 Max，总参数量从720亿增加到约2.4T，对应每个模型实例存储参数需要的内存容量从135GB增长到近2300GB，即约17倍。

（注：早几代大模型参数通常以BF16精度存储，每参数需2字节；近期存储精度普遍为FP8或更低，每参数只需1字节或更低。）

b. 推理缓存：相比每个模型实例固定占用的参数存储部分，对内存需求更大的弹性来自推理输出时需存储的KV缓存。这块内存需求的计算逻辑相对复杂，不是线性增长，取决于模型的上下文长度和模型注意力架构对缓存压缩的效率。

从Qwen初代到Qwen3.8 Max，模型上下文容量扩大了约31倍，与同期参数量增长幅度接近。不过因缓存技术进步，所需内存容量的增长幅度要小得多。

根据测算，Qwen3.8 Max的最大上下文长度是Qwen2.5的约8倍，但前者单个会话所需的缓存容量约为36GB，只比Qwen2.5高出约12%。（以上测算均基于使用最大上下文80%的情况。）

虽然软件技术进步使新模型单会话所需缓存容量增长幅度远低于模型参数和上下文的提升速度，但由于AI用户数和会话数快速增长，所有会话缓存加起来的内存容量总需求仍可能有数十乃至百倍的增长。

以同时处理32个会话为例（使用最大上下文的80%），Qwen3.8 Max模型实例所需的总内存量（参数+KV缓存）仍达到约2.3+1.3=3.6TB。

c. 除了AI大模型或Agent自身对内存的需求外，AI Agent工作时可能产生许多传统运算需求或操作，例如写文档、操作Excel，这都会产生对内存、闪存的需求。（当然，这部分需求不需要HBM这类高规格产品。）

更快的传输速度

以上是从容量需求角度，而实际上AI计算对数据传输速度的要求可能更加重要。这也可以从两个角度出发：一是匹配计算芯片更快的计算速度，避免内存传输速度拖累系统效率；二是更大参数规模和更长上下文模型，推理所需缓存数据读写需求呈爆炸式增长。

a. 更强的芯片需要更快的内存：以最通用的英伟达芯片为例，从B100到VR200的迭代中，芯片算力已是原先的5倍（基于FP4 dense精度），因此逻辑上对内存传输数据的速度（带宽）也会水涨船高。

简单举例：如果某芯片1秒能计算1GB数据，而其内存每秒只能输送0.5GB数据，相当于GPU将有近一半时间闲置等待内存，导致算力浪费。

现实中，从B100到GB300，5代GPU使用的内存带宽一直卡在8TB/s没有增长（均采用HBM3e），对应内存带宽/芯片算力的比值从1.1走低到0.5（基于FP4精度）。

虽然VR200使用的新一代HBM4带宽大幅提升至22TB/s，但因VR200算力同样比上代提升2至3倍（FP4精度），因此VR200对应带宽/算力比值也只有0.6。因此，内存带宽仍是整个算力系统中的相对瓶颈。

b. 以平方增长的推理计算量：对内存带宽高要求的另一原因，是大模型在推理计算中，需要读取的数据量随生成Token数量以平方而非线性速度增长。粗略来说，生成的上下文多10倍，需要的数据量增长100倍。

背后的原理是：AI模型计算输出每个新Token时，都需要完整读取一遍激活参数以及此前全部KV缓存。生成n个Token就需要重复以上读取动作n次（典型的等差数列求和问题）。

根据海豚君测算，以Qwen3.8 Max为例，在已有100k上下文基础上，生成100k新Token过程所需的数据读取量级约为500TB。

但Qwen3相比此前几代模型，虽然参数量大幅走高，对数据读写量需求却明显下降，这体现了软件技术进步降低了硬件要求。

这种帮助主要体现在两点：一是大模型架构从“致密”转向“稀疏”（同时激活所有参数还是只激活部分参数）；二是注意力架构从“全注意力”转向“混合/线性注意力”（生成Token时需全量使用所有KV缓存，还是只使用部分最相关缓存，其余大部分缓存压缩使用）。

但正如“杰文斯悖论”，软件技术帮助降低了对硬件的要求，那么新的大模型会以更大的参数和上下文（达到数万亿乃至十万亿量级）把软件技术省出的硬件资源重新用满。因此，即使有软件技术效率进步，对数据读写量及读写速度的要求依然相当严峻。

而且，我们的讨论是从单模型/单会话角度，再叠加AI进入Agent和Coding时代后，AI用户数量和会话量爆发式增长。单用户用量和用户数量双增共振下，对存力的总需求自然有成倍增长。

训练阶段，存力不算大瓶颈

以上只探讨了AI推理情景下对内存的需求，实际AI训练阶段对存力有不同需求。不过整体上训练阶段存力不算特别瓶颈。海豚君仅简单介绍下。

概括来说，训练阶段对内存容量的要求高于对传输速度的要求。原因如下：

a. 对容量需求更高：首先，不同于推理时参数是已完成计算的确定值，训练阶段还需存储参数的中间状态及计算过程（比喻说法，具体术语不展开）。且不同于推理阶段参数可用FP4等低精度存储，训练时仍需以BF16或更高精度运算。

因此，训练阶段储存参数所需内存容量可达推理阶段的8至16倍。但即便如此，训练时内存容量也不算特别瓶颈，因为训练时整个算力集群可只用于一个模型训练，内存容量相当富余。而推理阶段，算力集群被切分成块，每个模型实体可用资源一般只有几十到数百卡，因此出现明显容量瓶颈。

b. 对数据传输速度要求不高，则是因为训练所需计算强度远高于推理阶段，此时GPU算力能被充分用满，不太会出现GPU因等待数据传输而闲置的情况。

02 HBM何以脱颖而出？

由前文可见，AI对内存的要求主要体现在更大容量和更高传输速度上。那么从技术角度看，HBM如何满足这两点要求，并脱颖而出成为当前高性能GPU内存的主要选择？

实际上，HBM内存相比常见DDR内存，在内存颗粒上并无质的区别，核心差异主要在于不同的架构和封装方式。

下图是HBM芯片的架构示意图，可见HBM的主要独特之处在于两点：1、HBM内存颗粒（DRAM Die）在竖直空间内一层层堆叠；2、HBM与GPU安装在同一介质层上（硅中阶层），共同封装。正是这两项技术共同实现了高容量和高传输速度。

其重要构成部件包括：① DRAM Die，即实际内存颗粒；② Logic Die / Base die，内存颗粒底部的管理芯片；③ TSV，用于跨颗粒层传输的硅通孔；④ Interposer，一层硅介质，用于安装并联通内存和GPU。下文将逐一详细介绍这些部件。

堆叠技术提升容量

首先，扩大内存总容量有两种逻辑方式：一是增大单个内存颗粒的容量密度，二是在同样体积内“塞下”更多数量的内存颗粒。

简单来说，颗粒容量密度主要由制程精度决定，但因物理规则限制，内存颗粒制程很难做小。若制程太小，易导致内存中电子“突破限制地乱窜”，造成数据错乱或丢失。

因此，目前内存最先进制程仅在11至12nm左右，预期到2030年也只能做到10nm左右，相比逻辑芯片2至3nm的制程技术差距很大。

所以，不同于逻辑芯片的摩尔定律（约每两年单位面积内晶体管密度翻倍或单位性能提升一倍），内存颗粒靠制程进步或提升单位容量密度的路径不太可行，因而只能选择另一条更“简单可行”的方式：在给定空间内尽量塞更多数量的颗粒。

这就引出了HBM采用的堆叠技术——将多个内存颗粒一层层垂直堆叠在一起，从而在有限面积下安装更大容量内存。由下表可见，目前最新的HBM4规格下内存堆叠数量已达12层，是初代的3倍。据部分报道，在2026至2027年之交，新一代HBM将进一步把堆叠层数推高至16层。

珍贵的空间和边界

但为什么不能像传统内存布局一样，把大量内存颗粒平铺在基板上实现更大总内存容量？

根本原因是，高性能GPU内能用于安装内存的位置和空间非常有限。如上文所述，为追求更高传输速率，HBM内存需紧贴计算核心安装，共同封装在一块单独的硅中介层上。

a. 由以下主板实拍图可见，普通家用GPU上，银白色区域内只有运算核心，内存颗粒环绕安装在四周的黑色PCB板上。

而服务器GPU的HBM内存颗粒则紧贴GPU核心，一同安装在银白色区域内。这块区域面积有限，且目前无法做得太大，因此能用于安装各部件的空间很有限。

b. 另外，从图上也可看出，HBM颗粒只安装在GPU的上下两侧，左右是空着的。这是因为传输部件（I/O）只能布置在计算核心的四边。这四边中还需留出位置给核心之间内部通信模块以及GPU与外部通信模块，因此留给内存的位置更少，无法在芯片四周铺满。这两个因素共同限制了内存在水平面上的安装空间，因此只能向垂直角度堆叠。

03 HBM的技术难点

以上简述了HBM带来的技术优势，但由此带来的代价——技术难点有哪些方面？下面逐一介绍。

堆叠的难点

a. 硅通孔——TSV

堆叠技术带来的第一个问题是：悬空堆叠的内存颗粒之间如何相互联通、传递信息和电力？这就引入了堆叠技术下新增的重要功能器件——硅通孔或TSV。

仍沿用此前示意图（注意红框内），硅通孔简单来说就是在硅片中垂直打孔，然后填充铜作为导体，从而获得竖直方向上的通信和输电能力。再在每一层底部增加与通孔对应的微凸块，将每层颗粒上下联通，同时每层间保留一定间隙，以防短路并利于散热。

制造硅通孔不算技术“难点”，各内存厂商自身工艺都可制造，但额外工艺和步骤自然意味着更高成本和更低良率。同时，由于TSV需同时兼顾通信、通电、散热等多种功能，不同的设计布局和制造良率也是区分内存厂商优劣势的因素之一。

b. 焊接工艺各不相同

凭借TSV和微凸块可实现各层颗粒间的互通，但还需焊接和封装来确保这种精密堆叠结构长期稳定可靠。

海力士目前采用MR-MUF工艺（MR指回流焊，MUF指一种液态树脂），而三星/美光则采用TC-NCF工艺（TC指热压，NCF指非导电膜）。

概括来看，TC-NCF的工艺流程是：① 在第一层内存颗粒背面贴上固态非导电薄膜；② 上下两层颗粒对齐，加热加压，让上层微凸块穿透薄膜与下层芯片接口融合；③ 薄膜层受热融化，填充两层颗粒间所有空隙，冷却固化起固定和绝缘作用；④ 循环以上步骤，直到所有颗粒层完成焊接固定。

而MR-MUF的工艺流程是：① 将所有颗粒层一次性全部对准叠好，涂抹助焊剂临时固定；② 将整个堆叠置入回流炉，加热部分融化微凸块，一次性完成各层所有焊点熔接；③ 注入特制液态树脂（EMC），一次性填满各层间所有空隙，包裹整个芯片；④ 树脂固化后，研磨去掉多余树脂。

对比来看，MR-MUF技术的主要优势在于生产效率更高、良率更高以及散热性能更好，因此具备更高毛利率，这也是海力士的关键竞争优势之一。

背后的技术原因是：① 热压技术需一层层堆叠焊接，一层出错整体报废；而回流工艺（MR）一次性焊接成型，步骤更少，效率更高；② 反复热压易导致很薄的硅片弯曲变形或开裂，或凸点损坏，因此良率更低。

那么为什么三星和美光不模仿MR技术？一方面，海力士对该工艺申请了多个专利，且关键材料——液态树脂是海力士与上游供应商合作研发的，限制了竞争对手使用。另一方面，三星和美光已在TC工艺上投入大量研发和设备，转换成本较高。

相比复刻海力士现有MR技术，三星和美光更倾向于直接研发下一代混合键合技术，以实现弯道超车。不同的键合技术也是区分内存厂技术优劣的因素之一，后续将进一步讨论。

共同封装

前文提到，为了让计算核心和内存之间数据传输更快，HBM必须与GPU芯片紧贴封装在一起，为此极大限制了内存安装位置，代价不小。那么背后的技术原因是什么？

首先，一个简单公式：内存带宽（数据传输速度）由频率和位宽两个指标决定，等于两者的乘积。通俗来说，位宽表示内存和计算芯片之间有多少条并发数据传输通道，频率则代表每条通道传输数据的速度。

由HBM内存与普通GPU使用的GDDR内存规格对比表可见，HBM带宽远超GDDR的核心原因是，HBM的位宽可达1至2千位，而GDDR只有32位。而论单通道传输效率，HBM反而明显低于GDDR。

但要在有限面积内，在内存和计算单元之间布下数千条通路连接，且保证每条通路互不干扰，必须要求每条通路极其狭窄。此时，PCB板的制作精度已无法满足，只有制造芯片的半导体工艺才能达到这种精度要求。

具体来看，PCB板制作工艺是化学刻蚀，能制作的通路宽度一般为50µm上下（图中PCB线路仍肉眼可见）。而由半导体工艺制作的硅中介层上的通路宽度可达1µm左右。这正是需要额外制作一块硅中介层来安装并连接HBM芯片和GPU核心的根本原因。

基座芯片定制化

与硅中介层情况类似，整个内存模块的另一组件——位于堆叠最底层的基底层或逻辑层，从HBM4开始也需部分依赖外部厂商代工或协同设计。

基底层的作用简单来说：向上支撑并联通其上的内存颗粒堆，向下通过中介层联通外部，实现与XPU的信息交换并获取电力，类似一个中转站。

a. 在HBM3e及前代产品中，基底层结构相当简单，包含三大部分：用于与XPU通信的PHY模块、与内存颗粒联通的TSV模块，以及用于封装前测试内存是否合格的Direct Access（DA）模块。

由于结构简单，此前基底层的制作工艺要求不高，20nm上下即可，因此内存厂商自己就能设计生产。

b. 但最新的HBM4中，基底层的制作工艺要求普遍升级至12nm左右。接下来的部分旗舰产品更会用上最新的2/3nm技术，同样需由台积电等厂商代工（三星因有半导体工艺，可自行生产）。

背后的原因也很简单：HBM4中基底层包含的模块和功能更多了，因此必须提高工艺精度。具体来看：一方面，HBM4位宽较前代增加一倍（从1K到2K），其对外连通的PHY模块需以更高精度制造（或大幅增加模块面积但不可行）；

另一个更重要原因是，HBM4之后的版本中，原本位于XPU内部的内存控制器、地址映射管理等功能组件将被转移到内存的基底层模块中。这样能使内存控制模块在物理上更贴近内存本身，减少指令和数据在内存与XPU之间的传输次数，也能在XPU芯片中节省出宝贵空间用于其他组件。

c. 除了需更精密工艺制造外，另一个重要变化趋势是HBM基底层正逐步从通用组件变为客户专用的定制化组件。

例如，英伟达自己公布的NVHBM规格中，将采用私有Die-to-Die协议取代通用JEDEC通路。据其公布数据，该变化能将内存带宽提升30%、功耗降低15%，并省出25%空间用于核心计算单元。此外，Marvell、Rambus等也宣布了各自定制的基底层。

内存