干掉硅中介层？

近年来，在 AI 高算力需求推动下，HBM 正在大放异彩。

尤其是进入 2023 年后，以 ChatGPT 为代表的生成式 AI 市场的疯狂扩张，在让 AI 服务器需求迅速增加的同时，也带动了 HBM 高阶存储产品的销售上扬。

TrendForce 数据显示，2023 年全球搭载 HBM 总容量将达 2.9 亿 GB，同比增长近 60%，预计 2024 年还将再增长 30%。SK 海力士预测，HBM 市场到 2027 年将出现 82% 的复合年增长率。

在此发展势头下，作为 AI 芯片的主流解决方案，HBM 受到了存储巨头的高度重视。自 2014 年 SK 海力士首次成功研发 HBM 以来，三星、美光等存储巨头也纷纷入局，展开了 HBM 的升级竞赛，目前 HBM 已从第一代 HBM 升级至第四代 HBM3，产品带宽和最高数据传输速率记录被不断刷新。下一代 HBM3E 超带宽解决方案也已在样品测试阶段，HBM4 也被提上议程。

HBM 发展历程

借助 AI 东风，HBM 需求水涨船高，三大原厂纷纷推动 HBM 新代际产品开发与产线扩张。与此同时，台积电也宣布将 CoWoS 产能扩大两倍，以期更好地支撑水涨船高的 HBM 需求。

近日，英伟达 H200 的推出有望再次掀起 HBM 布局浪潮，未来在 AI 大模型日趋复杂化的趋势下，随着存储巨头的持续发力，产业链上下游企业也将紧密部署，HBM 的影响力将逐步扩大并带来全新机遇。

本文，将围绕 HBM 发展过程中的一个细分环节——硅中介层（Si-Interposer），来详述其价值、瓶颈以及未来的技术走向。

硅中介层，挑战重重

谈到硅中介层，我们需要先来了解一下 HBM 的结构。

与传统 DDR 存储器不同，HBM 使用硅通孔技术（TSV）和微凸块（ubump）垂直堆叠多个 DRAM 芯片，并通过封装基板内的硅中介层与 GPU、CPU 或 ASIC 直接相连，从而具备高带宽、高容量、低延时与低功耗等优势，相同功耗下其带宽是 DDR5 的三倍以上。

因此，HBM 突破了内存瓶颈，成为当前 AI GPU 存储单元的理想方案和关键部件。

HBM 架构示意图

HBM 是一种标准化的堆栈储存技术，可为堆栈内部，以及内存与逻辑组件之间的数据提供高带宽信道。HBM 封装将内存裸晶堆栈起来，并透过 TSV 将它们连接在一起，从而创建更多的 I/O 和带宽。

从上图可以看到，这个硅中介层可以理解为一块精密的电路芯片，里面布置了密集的电信号传输通道，用于帮助芯片、封装基板进行电性能互连，实现芯片与芯片，芯片与封装基板之间的信息交换，可以用于提高芯片的性能和带宽，以及使芯片更加紧凑，从而减少了信号传输的延迟和功耗。

总体来看，硅中介层是一种经过验证的技术，具有较高的细间距 I/O 密度和 TSV 形成能力，在 2.5D IC 芯片封装中扮演着关键角色。

硅中介层有两种技术路线，分别是台积电的 CoWoS 和英特尔的 EMIB。

台积电 CoWoS-S 通过硅中介层承载处理器和 HBM，处理器和若干 HBM 的投影面积决定了硅中介层的大小，而中介层的面积受限于光刻掩膜尺寸，会限制 HBM 的使用数量。

这就成为了早期 HBM 应用的瓶颈——需要 HBM 的往往是高性能的大芯片，而大芯片的规模本身就已经逼近了掩膜尺寸极限，给 HBM 留下的面积非常有限。对此，台积电相继攻克了多重困难突破了中介层尺寸的限制，单芯片内部逐渐可封装 4 颗、6 颗，甚至 12 颗 HBM。

硅中介层的面积如此发展，在解决尺寸限制的同时，也带来了新的挑战，即成本越来越高。以 8GB HBM2 为例，其成本约 175 美元，其中硅中介层成本约 25 美元，而同时期的 8GB GDDR5 仅需 52 美元，在没有考虑封测的情况下，HBM 成本已经是 GDDR 的三倍左右。

尤其是随着 HBM 的演进，中介层面积越来越大，要包含所有的 Die，大大增加成本。此外，中介层是由半导体工艺制作，成本不低，且很难做很大面积。

为了降低中介层的成本和尺寸，英特尔发明了 EMIB，将 die-die 的互连用 " 硅桥（Si Bridge）" 实现，且硅桥嵌入在基板内部，die-substarte 的连接通过传统方法实现。这种做法可以大大降低硅中介层的面积，减少成本，减轻多 die 封装的限制。

英特尔 EMIB 架构图

值得注意的是，EMIB 通过非常小的凸点间距提供高互连密度，从而允许芯片之间具有更高的带宽，并且走线长度较短，因此比使用有机基板具有更低的功耗。它类似于微型硅中介层，仅覆盖小芯片之间需要连接的区域。

但是，尽管 EMIB 充分利用了硅中介层和有机载板的技术特点和电气特性，但也存在组装成本高的缺点，因为需要在有机载板中镶嵌，增加了工艺复杂度，限制了载板的选择。

因此，为了进一步降低成本，行业厂商开始研究弃用硅中介层的技术和方法。

SK 海力士：直接在处理器上堆叠 HBM4

据报道，SK 海力士开始招聘 CPU 和 GPU 等逻辑半导体设计人员，希望直接在处理器上堆叠 HBM4，这不仅将改变逻辑芯片和内存的典型互连方式，还将改变其制造方式。

目前，HBM 堆栈集成了 8 个、12 个或 16 个存储器件，以及一个像集线器一样的逻辑层。HBM 堆栈被放置在 CPU 或 GPU 旁的中间件上，并通过 1024 位接口与处理器相连。SK 海力士的目标是将 HBM4 堆栈直接放在处理器上，完全省去中介层。

据悉，SK 海力士正在与包括 Nvidia 在内的几家公司讨论其 HBM4 集成设计方法。SK 海力士和 Nvidia 很有可能从一开始就联合设计芯片，并在台积电生产，台积电还将使用晶圆键合技术把 SK 海力士的 HBM4 安装到逻辑芯片上。为了使内存和逻辑半导体在同一芯片上作为一个整体工作，联合设计是不可避免的。

台积电目前也有像 SoC 等更高级的 3D 封装工艺，确实可以更好地将显存堆叠到芯片之上，就像 AMD 的 3D V-Cache 处理器就是用到了这种工艺，不过该处理器最大的问题就是发热，还有良率以及成本等因素，目前还不太适用于 HBM 显存。

据业内人士表示，直接连接存储器和逻辑芯片在经济上是可行的。不过，虽然将 HBM4 堆栈直接放在逻辑芯片上可以在一定程度上简化芯片设计并降低成本，但这也带来了另一个挑战——散热。

散热本身就是 HBM 长期存在的挑战之一，HBM 的 2.5D 封装结构会集聚热量，而靠近 CPU 和 GPU 的布局又会进一步增加热量。以英伟达的 H100 处理器为例，其消耗数百瓦的功率，并耗散数百瓦的热能，且 HBM 内存也相当耗电。

目前来看，如果发热问题能够得到解决，HBM 的 " 游戏规则 " 可能会发生变化，存储器和逻辑半导体之间的连接可能会变得像一体机一样运行，而无需中间件。

三星：将 HBM 存储与芯片封装解耦

三星方面也认为，随着封装变得越来越大，带来了装配和可靠性等多方面的挑战。为此，三星通过提供一个在 logic die 上堆叠 DRAM die 的方法，将功耗效率提升了 40%，并将延迟降低了 10%。

在另一种方案中，三星将 Cash DRAM 堆叠在 logic die 上，使得功耗效率提升了 60%，延迟则降低了 50%。在三星看来，这是一个更好的、面向未来的解决方案。

三星的 Cash DRAM 堆叠

展望未来，三星方面进一步指出，光互连将发挥重要作用。

在使用光学 I/O 后，将获得非常高的带宽密度；与此同时，这种解决方案还能带来非常低的功耗。在三星看来，光学 I/O 将逻辑封装和存储封装连接到一起。

同时，该技术还能将 HBM 存储与芯片封装完全解耦，将 HBM 模组从芯片本体分离出来，并通过光学技术与逻辑处理单元相连。这样就不必处理中介层带来的芯片封装复杂性，且这种方法简化了 HBM 和逻辑单元的芯片制造与封装成本，并且避免了复杂的数字到光学信号内部转换。

随着全球存储巨头的深度介入，上述挑战或将得到解决，HBM 市场的激战也会愈演愈烈。

除了存储原厂之外，台积电等厂商也正在通过研发不同类型的中介层，或是采用不同的材料来实现成本节降。

以台积电为例，台积电正在不断尝试降低下一代 HBM 的成本，宣布拥有多种不同类型的中介层：除了硅中介层外，还有 RDL 中介层，以及其他试图摆脱中介层的技术探索。

比如 CoWoS-R、CoWoS-L 等，前者将硅中介层换做有机 RDL，能够降低成本，不过劣势是牺牲了 I/O 密度；后者是台积电专门针对 AI 训练芯片设计的，结合了台积电 CoWoS-S 和信息技术的优点，预计晚些时候才能应用。

图源：TSMC 官网

此外，集成扇出封装技术（INFO）也正在考虑集成 HBM，作为硅中介层的经济替代方案等等。Cadence IP 团队产品营销总监 Marc Greenberg 表示，如果行业能够聚集在一起并决定一个适用于标准封装的内存标准，那么就有可能提供与 HBM 类似的带宽，且成本要低得多。

可见，弃用硅中介层或进一步降低成本正在成为 HBM 未来新的技术创新路线。成本因素之外，HBM 干掉硅中介层还可以减小传输路径、提升传输速率，体积也会更加小。

Chiplet 也要干掉中介层

在 HBM 弃用硅中介层的迹象之外，Chiplet 也正在进行此方面的探索（其实某种程度上，HBM 就是 Chiplet 的一种类型）。

迄今为止，业界领先的 Chiplet 互连需要先进封装和昂贵的硅中介层。而 Eliyan 公司验证了他们在高性能 Chiplet 互连方面的突破。

笔者在此前文章《Chiplet，怎么连？》中对此有过详细介绍。

Eliyan 凭借其 Nulink 技术，可以为 die-to-die 互联在各种封装衬底上提供功耗、性能和成本的优势方案。因为这种 PHY 接口可以让不同的裸片直接在有机衬底上实现高速互联，而不必采用 CoWoS、EMIB 或硅中介层等昂贵的先进封装方式，在降低成本的同时加速产品制造周期。

从上图可以看到，左边是当今常见的使用硅中介层的 Chiplet 互连方法；右边是 Eliyan 的 NuLink 技术，可以以卓越的带宽实现小芯片互连，而无需硅中介层。

可见，NuLink 通过简化系统设计降低了系统成本。更重要的是，Eliyan 可以增加芯片之间的距离，对于生成式 AI，NuLink 为每个 ASIC 提供更多的 HBM 内存，从而提高了配备 HBM 的 GPU 和 ASIC 的内存密集型应用程序的性能。

采用硅中介层的传统 Chiplet 解决方案与采用有机基板的 Eliyan Nulink

Eliyan 还展示了其 NuLink PHY 的第一个工作芯片，该芯片采用 5nm 标准制造工艺实现，可以让 Chiplet 与不同工艺的裸片实现混搭，不需要硅中介层等先进封装技术。

NuGear 消除了对大型硅中介层的需求

Eliyan 指出：" 如今业内的一大需求是能够获得足够大的中介层，这样就可以构建越来越大的 GPU 或 TPU，并带有大内存。"

这还是在抛开成本因素的考量下，而 Nulink 有机基板的尺寸可以达到硅中介层的三四倍，同时提供相同或更好的功率效率和带宽。这导致成本更低、制造速度更快，每个封装的计算能力更强。

与此同时，NuLink 还为 HBM DRAM 提供卓越的散热性能，消除了 HBM-ASIC 之间的热串扰，允许 ASIC 时钟速度提高 20%，以及更简单 / 低成本的冷却。

测试和产量是另一个优势。传统硅中介层需要使用微凸块将小芯片连接到中介层引线，微凸块限制了对晶圆进行全面测试的能力，使良率面临风险。

对此，Nulink 对有机基板的使用通过允许使用具有标准尺寸凸块的小芯片来缓解这个问题，这可以更有效地进行测试。因此，可以将芯片良率从 60% 提高到 90% 左右。

总结来看， Eliyan 消除了对先进封装的需求，例如 Chiplet 设计中的硅中介层尺寸有限、成品率低、成本高、难以冷却、供应链有限、测试等所有相关限制和复杂性。NuLink 技术能够实现 DRAM 扩展、节约材料成本、提高产量并缩短芯片上市时间等优势。

但任何技术都有两面性，并非提供完全的优势。例如，Eliyan 新技术可以把 Chiplet 从 2.5D 的封装要求切换到 2D 上，但必然需要增大线速来换取更低的线密度需求。但速率的增加对于 PHY 的设计会引入显著的额外延时和能耗。

写在最后

总的来说，无论是 HBM、Chiplet 异构集成，还是裸片堆叠，这些先进封装技术正逐步解决传统芯片缩放遇到的难题，同时也为未来的芯片设计提供了更多的灵活性和高效性。

同时随着互连技术的演进，预计将进一步促进 HBM 或 Chilet 封装技术的进步，为行业带来更低功耗、更高性能以及更低成本的解决方案。

无论是哪种技术，都各有优劣，也永远面对新的瓶颈和挑战，需要根据实际需求来进行设计和选择。但万变不离其宗，持续提升性能、降低成本，无疑是行业发展永久的 " 必杀技 "。