8层堆叠第二代HBM3会带来怎样的冲击波？

7月27日，美光发布了业界首款8层堆叠24GB容量第二代HBM3内存，其带宽超过1.2TB/s，引脚速率超过9.2Gb/s，比当前市面上现有的HBM3解决方案性能可提升最高50%。

IT技术就是如此日新月异，让你永远追不上发展的脚步。当我们还没有太清楚HBM，技术发展已经到了HBM3。对此，需要简单回顾一下，针对内存高带宽、大容量、低功耗的需求，从2013年开始，国际电子元件工业联合会(JEDEC)先后制定了3代、多个系列版本的高带宽存储器(HBM、HBM2、HBM2E、HBM3)标准。2022年1月28日，JEDEC正式发布了JESD238 HBM DRAM(HBM3)标准，技术指标较现有的HBM2和HBM2E标准有巨大的提升，芯片单个引脚速率达到6.4Gbit/s，实现了超过1TB/s的总带宽，支持16-Hi堆栈，堆栈容量达到64GB。

美光的新产品就是新标准的产物，其实现了8层堆叠24GB容量，引脚速率超过9.2Gb/s，总带宽超过1.2TB/s。该产品基于美光1β DRAM制程工艺，将24Gb DRAM裸片封装进行业标准尺寸的8层堆叠模块中。据了解，美光12层堆叠的36GB 容量产品也将于2024年第一季度开始出样。其中，美光所使用的主要技术是将硅通孔（TSV）数量翻倍，从而增加了5倍金属密度以降低热阻，并实现了更为节能的数据通路设计。

如今的技术发展就到了这样的一个程度，非常适用于生成式AI领域对多模态、数万亿参数AI模型的需求。有数据表明，在已经部署的1000万个图形处理器（GPU）用例中，单个美光第二代HBM3 内存可节约5W功耗，能在五年内节省高达5.5亿美元的运营费用。

在我们惊讶HBM3带来容量和性能的同时，我们也要关注到HBM的一些局限性，如因为讲HBM与CPU、GPU等主芯片封装在一起，在出厂时就已经将规格定死，因而系统搭配缺乏灵活性。此外，相比DDR内存其容量偏小，价格昂贵，存在因为主频偏低所导致延迟偏高等问题。但这些都是指针对通用市场和应用的状况，但是针对AI，生成式AI的场景，HBM3 内存的优势还是显而易见的。