随着人工智能模型推理和训练需求的强劲增长，全球AI服务器市场热度持续飙升，HBM一跃成为主流AI服务器的标配。据WSTS预测，存储器市场将高速增长，同比涨幅达44.8%。

三星、SK海力士和美光三大存储原厂正积极应对HBM市场的需求。预计2024年上半年，它们将推出24GB容量的HBM3e产品，下半年计划推出更高容量的36GB版本。未来半导体调研显示，国内HBM市场仍面临至少500万颗芯片的缺口，国内存储制造和封测厂商正在努力打造HBM产线，但仍需解决能力、良率和产能等挑战。

在存储芯片市场，三星、Kioxia、西部数据和美光分别主导着DRAM和NAND市场，国内的长江存储、福建晋华和合肥长鑫则在国内市场占有一席之地。

台积电在2024年的GTC开发者大会上发布了最新的AI芯片GB200，被誉为史上最强AI芯片。相较于H100，GB200在算力、能耗和成本方面都有了显著提升，预计2025年开始大规模投产，规格为HBM3e 192/384GB。这一新产品将极大地推动HBM市场的发展，同时各原厂也在加速HBM4的研发。

台积电目前正在N12FFC+ 和N5制程上投入资源，以应对首批HBM4的生产需求。这些先进的封装技术如CoWoS-L和CoWoS-R将进一步优化HBM4的界面，提供高达2,000个互联，同时支持系统级封装 (SiP)，显著提升了中介层的性能。

2023年11月，英伟达发布面向AI领域的新一代图形处理器，搭载了HBM3E，带来了容量、带宽和性能的全面升级，市值突破2万亿美元大关。2024年，市场关注焦点逐渐转向HBM3E，这成为HBM市场的主流产品。美光和SK海力士官方表示，他们在2024年和2025年大部分时间内的HBM产品已经售罄，预计2025年的需求将翻倍。为了满足市场需求，三星和SK海力士已经将超过20%的DRAM生产线转换为HBM生产线。