公众号记得加星标⭐️，第一时间看推送不会错过。

半个世纪以来，计算机领域的进步一直被描述为处理器发展的故事。然而，如今定义整个行业的工作负载——现代人工智能背后的大型生成模型——已经悄然改写了规则。它们的性能不再取决于芯片的计算速度，而是取决于数据能够以多快的速度和多低的成本传输到计算中。

这就是内存墙：计算需求与内存供给能力之间的差距日益扩大。每一代加速器都以远超内存系统处理操作数的速度提升算力——因此，越来越多的工作负载所消耗的时间、能源和成本并非用于计算本身，而是用于数据传输。

这篇博文提出了一个简单的论点：未来十年最重要的进步并非来自提升处理器速度，而是来自计算发生位置的结构性变革——将计算更靠近内存本身，从而使数据密集型操作在数据本身所在的位置执行。我们将这种理念称为近内存计算，并用“高带宽计算”（HBC）一词来指代将计算靠近内存以打破内存壁垒的各类技术。

瓶颈已经转移。下一代性能的成败将取决于内存或其附近区域，而不是处理器。

问题：新的瓶颈

现代人工智能模型的推理过程极其消耗内存。生成响应的每个新词元都需要从内存中读取大量的模型参数和累积的上下文信息。运算本身的成本相对较低；真正的挑战在于如何足够快地提供操作数，以确保计算引擎能够持续运行。

随着硬件的不断迭代，原始计算能力飞速提升。然而，内存带宽（即数据传输到计算单元的速率）和存储容量的增长速度却远不及此。事实上，据估计，过去十年间，Transformer 模型的大小每两年增长 240 倍，而 AI 硬件内存仅增长了 2 倍。其结果导致了结构性分化：处理器越来越多的性能处于闲置状态，等待数据处理。

为什么传统的内存扩展方式正接近其极限

业界通常的做法是通过相同的基本架构来提升带宽：将内存和计算作为独立的组件，然后拓宽它们之间的通道。但这种方法正面临着物理和经济上的双重限制：

接口收益递减。扩大内存和处理器之间的连接意味着需要越来越多的物理线路和信号引脚——这种方法每一步都变得更加昂贵和复杂，而收益却越来越少。

距离的桎梏。数据在不同的内存和计算组件之间传输的每一个比特都需要消耗能量和时间。在如今的规模下，这种传输——而非计算本身——才是功耗预算的主要来源。

高级封装成本高昂。最先进的内存集成技术价格昂贵且供应有限，使得许多部署方案无法实现最高性能。

简而言之，传统的高带宽内存（HBM）+ XPU 架构要求数据先传输到计算单元。当数据传输成为瓶颈时，这种设计方向恰恰是错误的。其他方法，例如在 XPU 中嵌入大量 SRAM，也面临着能耗、内存容量和成本方面的挑战。敬请期待我们后续深入探讨这些主题的博文。

物理学：数据传输的隐性成本

人们很容易将内存视为被动存储，而将计算视为主动操作。但在现代人工智能的规模下，数据传输本身就是整个系统中最大的能耗环节之一。跨芯片边界传输操作数所消耗的能量，可能远远超过数据到达后执行的算术运算所消耗的能量。

这重新定义了整个设计问题。如果大部分成本在于数据传输过程，那么最有效的措施就是缩短数据传输过程——在数据附近、内存包内部执行数据密集型操作，然后只发送精简后的结果。

将计算能力移到数据所在位置，而不是将数据移到计算能力所在位置。

理念：近内存计算助力新的劳动分工

近内存计算基于一个看似简单的前提：将计算直接置于内存附近，让内存处理那些受限于数据移动而非算术复杂度的操作。我们将这种方法以及基于此构建的架构称为高带宽计算 (HBC)。内存的内部带宽，而非狭窄的外部接口，成为可用于计算的有效内存带宽。我们创新的近内存计算实现方案是高通 HBC。

至关重要的是，这并非要取代处理器，而是要实现更智能的分工。主处理器，例如高通 Dragonfly AI 加速器，继续发挥其优势——处理复杂、灵活且需要大量协调的工作。HBC 则负责执行其设计上最擅长且运行成本极高的操作。两者各司其职，各司其职。HBC 中的计算芯片可以设计成提供一系列解决方案，从固定功能的加速到完整的处理器功能。

为什么现在是最佳时机

三种因素使得这种方法不仅具有吸引力，而且非常及时：

工作负载要求如此。生成式人工智能推理严重受限于内存。占据主导地位的操作恰恰是那些最适合就地执行的操作。

从经济角度来看，内存计算更具优势。它无需使用复杂且供应有限的封装，从而能够以更优的成本和效率实现高性能。

生态系统为此提供了支持。成熟的大容量存储技术奠定了基础，无需重新发明，即可逐步演进——这是一条务实的规模化路径。同样重要的是，使近内存计算成为现实的堆叠技术本身也已成熟：3D集成技术的进步，特别是将DRAM直接键合到逻辑电路上的能力，正从实验室走向大规模生产。这些构建模块不再是推测性的——它们已经准备就绪。

收益：同时在所有维度上进行扩展

传统设计迫使人们做出艰难的权衡：更大的容量往往以牺牲带宽为代价；更大的带宽则意味着更高的成本或功耗。近内存计算放宽了这些限制，因为可用于计算的有效带宽就是内存内部的带宽——远远大于任何可通过外部接口输出的带宽。

这些实际后果会在整个系统中叠加：

同样重要的是，这些性能提升遵循可扩展的路线图。容量、带宽和计算能力可以在后续几代产品中同步提升，从而将一次性的架构优势转化为持续改进的轨迹。例如，采用第一代高通HBC技术的Dragonfly AI250 ，其有效内存带宽比采用LPDDR5X的Dragonfly AI200提升了18倍；而采用第二代高通HBC技术的Dragonfly AI300，其有效内存带宽则比Dragonfly AI200提升了54倍。

当计算任务靠近内存时，迫使人们做出艰难权衡的约束条件开始瓦解。

展望：这对行业意味着什么

如果计算继续向数据迁移，那么对于任何构建或购买人工智能基础设施的人来说，都将面临诸多变化。

绩效指标正在重新定义

相比之下，系统能否持续高效地运行并满足这些计算需求，其性能指标的重要性要低得多。买家越来越倾向于根据实际内存密集型工作负载下的性能表现，以及每瓦和每美元的性能，而不是峰值理论吞吐量来评估平台。

效率成为竞争的战场

随着部署规模扩大至庞大的集群，能源既是主要的运营成本，也是制约其发展的物理瓶颈。能够最大限度减少数据传输的架构将具有结构性优势，并且这种优势会随着规模的扩大而增强。

记忆成为积极的参与者

长期以来“数据存储位置”和“数据处理位置”之间的界限将变得模糊。内存将不再被视为被动的存储介质，而是计算的积极参与者——这种转变的影响将波及从芯片设计到数据中心经济等各个方面。

范式转变

几十年来，处理器一直是计算机发展史上的主角。但人工智能时代面临的关键挑战已然不同。稀缺资源不再是计算能力，而是如何及时、经济地将数据送到需要的地方。

那些能够认识到这种转变并据此进行设计的组织，将引领下一代人工智能的发展。决定性的问题不再是处理器能运行多快，而是系统如何以智能的方式限制数据传输。

高通HBC近内存计算技术正是这一原则最清晰的体现之一：以结构性方案解决结构性问题。瓶颈已经转移——我们的思维方式也必须随之改变。

（来源：编译自高通 ）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4467内容，欢迎关注。

加星标⭐️第一时间看推送

求推荐