在Hot Chips大会上，三星和SK海力士都同意，GPU、内存、晶圆代工和封装必须作为一个系统来设计。从那时起，它们的解决方案开始分道扬镳。

三星正将基础芯片转变为系统中的一个活跃部分。它计划将内存控制器从GPU上移到逻辑基础芯片上，从而释放GPU面积的5–10%，用于更多计算，并可能提升性能10–20%。选择性的AI操作也可以在基础芯片上运行，以减少数据移动。从长远来看，它正在推动zHBM技术，该技术直接堆叠GPU和DRAM，预计将DRAM功耗降低约70%，同时带宽增加一倍以上。

SK海力士则专注于更高堆叠并管理由此产生的热量和翘曲问题。它确认HBM4 12层堆叠已进入生产阶段，而16层版本已进入客户验证阶段。混合键合是通往20层及更高堆叠的路径，它允许使用更厚的芯片和更紧密的间距。其iHBM方法在堆叠最热区域内部添加了一个专用的热传导路径。这场竞争不再仅仅关乎带宽和容量。基础芯片架构和先进封装正成为决定性战场。

三星基于逻辑节点的定制基板芯片

在2026年Hot Chips演讲中，三星电子发布了zHBM，这是高带宽内存的终极进化形态。该概念摒弃了2.5D中介层，将DRAM垂直堆叠在GPU等计算芯片之上，形成真正的3D集成架构，目标是将DRAM功耗降低70%，带宽比HBM4E提升2.3倍。

三星制定了三阶段路线图，将基础芯片从被动的数据传输通道转变为主动的计算伙伴。第一阶段将内存控制器从xPU移至基础芯片，以回收硅片面积；第二阶段为基础芯片增加内存扩展和注意力计算能力；第三阶段最终实现zHBM。

接下来，我们来看一下三星的方案。

在演讲出事，他们提供了一些图表，展示了HBM5在规格方面的发展趋势。虽然一切都还没有定论，但看看右上角的图表也很有意思。

容量为 60GB、带宽为 6TB/s 的 HBM5 固态硬盘就很不错了。我们来算算具体数据。6 TB/s 的带宽，2048 条通道，意味着每个引脚的传输速率为 23.5 Gbps。我们目前最先进的速度是 16 Gbps，这是一个巨大的进步，而采用先进的逻辑节点很可能实现这一目标。如果每个芯片容量为 3 GB，总容量为 60 GB，那么堆叠高度将为 20 层。

在另一张幻灯片中，三星确认 HBM4E 的单引脚传输速率为 16 Gbps。我们之前对 HBM5 的计算结果也在下图中得到了验证。

三星的明显优势在于其拥有自主研发的逻辑芯片，而美光和SK海力士则需要与他人合作才能获得该芯片。三星在此强调了自身优势，并阐述了定制芯片的重要性。三星采用1C工艺制造内存，4nm工艺制造逻辑芯片，从而显著降低了芯片的功耗。下图暗讽了美光，后者在HBM4内存芯片中使用了DRAM工艺制造逻辑芯片。

更妙的是，如前文所述三星将产品路线图清晰地划分为三个阶段。我们将逐一介绍。

第一阶段：唾手可得的成果

当基片内存在逻辑节点时，HBM PHY 模块的物理面积会减小，能效也会提高。这意味着连接 HBM 和 XPU 的芯片间模块尺寸会更小。这有两个优点：

• 增加 XPU 中的面积以进行更多计算；

• 增加 HBM 基片的可用面积，以实现更高级的功能。

尺寸缩小带来的缺点是这些区域的热密度更高。有趣的是，他们提供了不同代 HBM 中 PHY 模块的实际尺寸。

三星还提到，他们不倾向于在D2D链路中使用UCIe，因为UCIe尺寸更大，且每比特能耗更高。他们表示，他们定制的PHY实现方案性能更佳。在向 HBM5 过渡时，他们展示了集成热路径块 (HPB)的概念，用于冷却 D2D PHY 区域。

另一个主要优势是内存控制器卸载，它可以从 XPU 转移到定制的基础芯片上。这释放了 XPU 芯片上的空间，这些空间可以用来驱动更多浮点运算处理器。

在基片上集成逻辑节点的新优势在于可以实现SRAM。如果DRAM堆栈中的某个单元损坏，该单元中的信息可以暂时存储在SRAM中，内存控制器会从SRAM中查找这些信息，而不是从损坏的DRAM单元中查找。可以将SRAM想象成一个备用笔记本，它就像一个临时记事本，用来保存那些无法存储在损坏DRAM单元中的数据。

第二阶段：RAS、测试、扩展、处理

使用逻辑节点作为基片意味着，如果晶体管尺寸较小，则用于许多此类功能的硅面积也会较小。节省下来的空间可用于多种用途，例如提高可修复性、可用性和可维护性 (RAS)、进行测试以及收集有关 HBM 内存堆栈健康状况/状态的遥测数据。鉴于 HBM 遥测数据是导致训练失败的第二大因素，因此 HBM 遥测数据将非常有用。

如果还有剩余的硅面积，那么就可以再建一个。内存扩展控制器用于在第一个HBM堆栈后面连接另一个HBM堆栈，或者插入DRAM芯片来扩展内存。

最后，既然逻辑晶体管可用，为什么不在基片上也集成一些计算功能呢？这样做的好处是，诸如矩阵压缩或编码之类的计算可以在逻辑芯片上完成，而无需离开基片。这在延迟和效率方面都有优势。

如果一切顺利，理论上就可以构建右下角那个精巧的加速器。绘制这样的框图很容易，概念上也很有趣，但它的实际性能提升是否显著还值得怀疑。

第三阶段：垂直化

最后阶段是使用定制的基板芯片和HBM，并将其堆叠在逻辑芯片之上。计算芯片和内存芯片之间的距离很短，因此数据位只需在更短的距离上进行传输，这提高了能效，并由于能够在芯片区域内（而不仅仅是芯片前沿）使用更多并行数据路径而增加了内存带宽。

这一切都不容易，但对公司而言，制定技术改进路线图至关重要。这表明他们有信心在未来推出更优质的产品，这对公司来说是一件好事。至于市场是否准备好接受这款产品，则是另一个问题了。

SK海力士推进HBM5混合键合技术

SK 海力士美国公司封装工程副总裁李在植 (Jaesik Lee) 于 8 月 23 日在 Hot Chips 2026 大会上发表讲话时表示，SK 海力士预计混合键合技术无法满足 HBM4E 的需求，这将使业界最受期待的内存封装过渡最早也要等到 HBM5 才能实现。

正如他所描述的，问题在于HBM立方体的总厚度被限制在775微米——这是300毫米逻辑晶圆的标准厚度——因此，每增加一层DRAM都必须采用更薄的芯片和更窄的间隙。目前正在进行客户认证的16层高密度HBM4（单立方体容量48GB，而12层高密度HBM4已量产）将其核心芯片的厚度减薄至约50微米，并将芯片间的间隙减半。李的演讲还详细介绍了该公司在5月份发布三个月后推出的iHBM冷却架构。李解释说，该架构存在一个限制，即散热模块不能应用于任何已在设计中的HBM产品。

JEDEC HBM4 标准将封装厚度上限从 HBM3E 沿用的 720 微米提高到 775 微米，从而缓解了采用混合键合技术所带来的压力。Lee 表示，GPU 封装在安装冷板时，逻辑芯片和内存堆叠层都会被磨掉一部分，露出裸硅片。由于逻辑晶圆的厚度为 775 微米，如果内存芯片的高度再增加一些，就会超出旁边处理器的高度。“这就是我们目前能够提升的极限，因为逻辑晶圆的厚度也是 775 微米。” Lee 说道。

更薄的芯片意味着堆叠层中氧化层的比例更高，而氧化层的导热性远不如硅。此外，引脚速度从早期HBM的1 Gbps提升到HBM4的8 Gbps，使得相同面积内需要消耗更多功率。SK海力士自身的数据显示，在所示的HBM各代产品中，热负荷平均高出2.2倍，而堆叠层数每两代就会翻一番。

该公司的大规模回流成型底部填充 (MR-MUF) 工艺，通过拾取和放置将所有芯片堆叠起来，并在一次回流中将它们连接起来，已经牺牲了利润：据 Lee 称，填充缩小了一半的间隙，同时控制小于 50 微米芯片的翘曲，是 16-Hi 的主要制造挑战。

去年五月，三星公开承诺将采用混合键合技术生产HBM4 ，而SK海力士则将铜-铜键合技术作为先进MR-MUF技术的备选方案。随后，JEDEC放宽了厚度限制，使得混合键合技术不再是当务之急。目前，业界正在讨论将20层堆叠的厚度进一步提高到825至900微米，这将再次推迟铜键合技术的普及。

早在 3 月份，业内人士就声称 SK 海力士下了第一份大规模生产的混合键合订单，这是一套价值约 200 亿韩元（1500 万美元）的单线系统，该系统结合了应用材料公司和 Besi 公司的工具。Counterpoint Research预计，该技术将在 2029 年至 2030 年左右随着 HBM5 的推出进入全面 HBM 生产阶段。

根据SK海力士的路线图，混合键合技术目前仍处于研发阶段，适用于20层及以上的堆叠结构，SK海力士仍在决定哪款产品率先应用该技术。李先生并未透露具体是哪一代产品，但排除HBM4E后，HBM5很可能是最早应用该技术的型号。该技术在室温下将扁平的铜焊盘和氧化物表面连接起来，然后利用铜在固化过程中的热膨胀形成键合。

“这看似简单的工艺，实则极具挑战性，”Lee说道。“我们需要16层甚至20层才能实现混合键合，这与单层堆叠截然不同。”完全移除微凸点可以让核心芯片在20层高度下增厚24%，与相同高度的MR-MUF相比，热阻降低约35%，并且凸点间距（根据芯片层图）可低于18微米，而MR-MUF目前的间距为30微米。在HBM4的凸点间距下，传统的微凸点仍然适用，而且每次JEDEC提高厚度上限时，MR-MUF都能继续保持其可行性，并延续到下一代产品中。

iHBM 概念将导热、绝缘的块嵌入到基芯片的芯片间 PHY 区域（功率密度峰值的界面热点），据称可降低 30% 以上的热阻。

李的幻灯片直接将iHBM与三星的散热路径模块（Heat Path Block）方案进行了对比。三星的散热路径模块通过专用散热柱将热量从芯片堆叠中导出，而美光的芯片基片电路重新设计则声称能效提升超过20%。这三项都是厂商的说法，且衡量标准各不相同。SK海力士和三星的设计都计划用于HBM5，但预计在2028年之前都不会量产。李表示，由于这些模块与D2D PHY芯片一起位于封装内部，因此需要根据客户的设计进行优化，而不能应用于已经设计好的芯片代，这使得iHBM成为一项协同设计工作。“这是一个我们可以做的不错的选择，但我们无法将其应用于我们已经设计好的芯片代。”

在问答环节，SemiAnalysis的 Tanj Bennett指出，堆叠更高的内存会降低硅片自身的吞吐量。DRAM 在单元级运行时，每平方厘米的吞吐量约为 20 TB/s；而 20 层高的堆叠最高吞吐量约为 4 TB/s，并且 HBM 所需的制造产能远高于同等规格的 DDR5 或 LPDDR。“当堆叠高度达到 20 层时，这种内存的平均速度反而比 DDR5 慢，”Bennett 说，“为什么利用 HBM 堆叠的高度，而不是巧妙地在其周围放置更便宜的内存呢？”

李回答说，训练工作负载既需要带宽也需要容量，然后补充说，推理过程可以兼顾两者，将键值缓存保留在高带宽内存中，同时将部分工作卸载到 LPDDR 内存。这种分离技术已经在英伟达的 Vera Rubin 平台等产品中得到应用，该平台正是为此目的而将 LPDDR5X 和 HBM4 通过 NVLink-C2C 协议进行池化。此外， SK 海力士与闪迪共同开发的高带宽闪存规范将这种分层理念扩展到了 NAND 闪存。

李在谈到分层方案时表示：“这也是我们未来需要考虑的问题。”据1月份的报道，SK海力士获得了英伟达Vera Rubin世代HBM芯片约70%的订单，这些芯片都将采用MR-MUF技术。李表示，哪款产品会率先采用MR-MUF技术，公司尚未做出决定。

Micron认为“内存墙”在恶化

在演讲中，美光科技将探讨人工智能领域不断发展的内存架构。据了解，美光科技将详细阐述高带宽内存和先进封装技术如何成为人工智能系统设计的核心。

Micron的演讲以OpenAI的计算效率前沿理论开篇，阐述了内存为何对语言模型扩展至关重要。Micron指出模型规模、数据集规模和训练计算量之间存在幂律关系，并认为这三者必须同步扩展才能提升语言模型的性能。内存正是将这三个因素联系起来的关键资源。

现在我们来谈谈内存瓶颈。美光表示，AI加速器的TFLOPS（浮点运算性能）大约每两年增长3倍，而2.5D附加内存（例如HBM）的带宽增长速度却不到每两年2倍。这种日益扩大的差距正是内存技术成为限制AI系统性能的关键因素的原因。

美光将HBM定位为计算与内存之间的桥梁，并追踪了从HBM2e到HBM5各代产品不断提升的容量、带宽和能效。你得好好欣赏一下这场没有Y轴标注的技术会议。

这里，美光展示了一款典型的GPU，其封装面积超过12000平方毫米，其中包括基础芯片和八个HBM4显存实例。这意味着，当使用12层HBM4显存时，显存硅片的面积可以超过GPU芯片本身面积的8倍。这确实是一个很直观的展示。

HBM 提高了内存带宽上限，改变了内存限制的边界，使内存密集型 AI 工作负载能够在达到内存限制之前更快地运行。

美光的演讲现在正在详细介绍HBM是什么，以及每一代HBM的发展历程。产品表格展示了从HBM1到HBM4的演变过程。每一代HBM都提高了数据速率、伪通道数和堆叠高度，从而提供更高的带宽和更大的容量。

HBM 的安装方式与标准的 ECC RDIMM 不同。下图展示了 HBM 堆栈如何在异构集成系统中与 GPU 或加速器集成，并以系统级封装 (SiP) 的形式封装，而不是作为独立的插槽模块。我想 STH 的许多人之前都见过这种设计。

每个 DRAM 芯片包含多个独立通道，每个通道有两个伪通道，HBM3E 每个芯片承载 128 个存储体，而 HBM4 则将其翻倍至 256 个。基体芯片位于主机和 DRAM 堆叠之间，主机侧使用微凸点 PHY，堆叠侧使用 3D TSV PHY，通过高密度点对点中介层连接，从 HBM3E 的 1K IO 增加到 HBM4 的 2K IO。

美光现在展示的是性能与容量之间的权衡。但他们在这里并没有真正展示PCB面积和功耗之间的差异。也许这会在以后的幻灯片中展示？

美光现在注意到这种速度带来的硅片成本。设计架构、先进封装和制造工艺的复杂性等综合成本意味着，要实现与DDR5相同的HBM3E容量，所需的硅片量大约是DDR5的三倍。

美光随后在演讲中总结了支持人工智能创新的内存参数，包括性能、容量和功耗。

更高速度的I/O链路和更大的中介层持续推动着SiP技术的进步，包括更快的I/O设计、针对存储器优化的SERDES和芯片间PHY，以及互连侧的共封装光学器件。基于CoWoS-L和CoWoS-R等技术的更大尺寸SiP以及玻璃基板也是封装技术发展路径的一部分。

现在我们来谈谈可靠性，包括芯片封装交互和 RAS 挑战。在异质集成 HBM 器件中，不同材料之间的热膨胀系数不匹配会产生热机械压力。实际上，从更宏观的角度来看，这正是Cerebras 的 WSE实现过程中面临的最大挑战之一。ECC 覆盖范围分为两层：首先是 HBM3，在系统层面上，每个 256 位访问使用 16 个元比特；其次是片上实现的基于符号的 Reed-Solomon ECC。

为了控制热量，DRAM芯片活动增加、堆叠高度提高以及更先进的芯片基础功能都会增加发热量。美光指出，液冷、混合键合以及焊料和侧模的改进是保持带宽和容量扩展所需的散热创新技术。

封装趋势似乎即将走到尽头。

综合来看，这些数据表明了美光科技如何应对人工智能领域内存架构的演进。美光科技正在权衡提升HBM带宽和容量与将如此大容量内存置于计算单元旁边所带来的封装、散热和可靠性成本之间的关系。

大家认为，HBM会有怎样的走势？