GPU瓶颈到底卡住了谁？
来源:芯师爷发布时间:2023-08-181870浏览
询问 AI文｜薛良Neil来源 |品玩GenAI
H100 GPU
H100家族，从单个GPU到组合扩展而成的工作站和服务器。
H100 NVL GPU
目前，H100的供应已经相当短缺，有传言说微软Azure和谷歌云的容量实际上已经快用完了，亚马逊云也面对同样的情况，传言目前下单需要等数月乃至半年。导致稀缺的原因是多方面的，最根本的是，GPU是一项极端复杂的技术，需要世界上最先进的生产工艺，而掌握这项工艺的工厂——台积电，它的产能是有限的。目前H100都由台积电代工，使用4N工艺，也就是增强型5纳米制程（相比之下A100使用的是N7），这几乎是目前最复杂的芯片制作工艺，从开始生产到出售给客户，H100中间经历的生产、包装和测试环节一共需要6个月左右，这就意味着对H100的生产需要英伟达和台积电进行提前的布局，这在半导体行业来说是经常的事，但这一次英伟达和台积电显然都对H100需求出现了错误的判断。这很好理解，因为ChatGPT爆发是去年底的事，那时关于今年的生产计划（至少是上半年的计划）已经规划好了，台积电总体的生产能力是有限的，还需要在不同的大客户之间分配，而产能爬坡也需要一个很长的过程——不要忘记生产H100这种GPU包含着全世界最复杂的工艺流程。报告中特别指出其中之一的瓶颈在于所谓CoWoS封装（Chip on wafer on Substrate 芯片、晶圆、基板封装），它目前的月产量是8000片，今年底有望提升至 11,000片， 2024 年底则达到每月 14,500至 16,600片左右的水平，也就是说，想要提升一倍的产量，几乎需要一年半的时间，这当然也是由于生产工艺异常复杂导致。这直接影响了H100的生产，更何况并不是只有一家在使用CoWoS封装工艺，英伟达的竞争对手AMD以及博通、思科和赛灵思等都同样在使用这种工艺制作芯片，又一次，台积电的产能瓶颈限制了GPU的供应。另外，H100所使用的HBM3系列内存也是一个生产难点。报告指出英伟达主要在使用SK海力士的内存，后者是这一领域的领军者，特别是在HBM内存的研发上。HBM技术直接把内存堆栈放在GPU芯片上，实现了更高的带宽和更低的功耗。今年4月20日，SK海力士宣布在全球率先研发出12层堆叠的HBM3内存，单颗容量达到24GB。内存容量越大，意味着GPU可以装载下更大的模型，然而HBM3内存的生产过程也十分复杂，产量提升同样困难重重，实际上另外几家芯片大厂，比如三星和美光，都很难提升HBM内存的产量，据说SK海力士正在根据英伟达的要求增产，在刚刚过去的SIGGRAPH 2023 上，黄仁勋发布了GH200超级芯片的更新版， 采用了增强的HBM3E内存，这可以看作是英伟达在内存领域同供应商密切协作的一个例子。
装有8个H100 的 HGX 服务器
CoreWeave提供的价格列表，HGX H100 每小时价格为4.76美元。基于这种配货的机制，市场上的GPU流动更不平衡，GPU变得不是一个只要有钱就能买到的东西，这助长了另一种稀缺性——囤积居奇。大模型的算法和数据的技术难度相对比较透明，相比之下，算力是一道扎实的无法逾越的护城河，有多少GPU直接决定了AI公司的能力强弱，因此GPU囤积变成了许多公司的一种下意识行为——宁可备而不用，不可用而不备，这当然加剧了GPU的稀缺。迟迟不见提升的产量和坊间各种传闻（比如上面所谓的配货机制，它从来没得到过官方的证实——就像爱马仕从来也不承认有所谓配货机制一样）则造成了一种稀缺的预期，就像对通货膨胀的预期会真的导致通货膨胀一样，对缺货的预期进一步加剧了缺货。这甚至某种程度上导致了GPU变成了一种战略资源，进而成为一种金融衍生品。CoreWeave 在八月初刚刚进行了一笔价值23亿美元的债务融资，抵押物正是手中的H100，如果这笔钱纯粹是基于对H100的市场均价（这里取37万美元）估出来的话，意味着CoreWeave手中有超过6000台HGX H100，也就是近5万张显卡。
在去年的GTC上，黄仁勋介绍H100
GPU的缺货严重影响了AI的发展，OpenAI 首席执行官Sam Altman说过，使用我们产品的人越少对我们反而越好。当然你可以说Sam Altman在得了便宜卖乖（事实上也确实是），但某种程度上，这也是他的真心话，算力瓶颈在限制着所有人，这足以说明人类对AI突破的到来多么缺乏准备。生成式AI和transformer架构都不是最新的发现，它们的理论在很早就在学界广为流传，业界也不乏大举投入其中的公司（当然，OpenAI是最坚决的那个），然而直到ChatGPT和Stable Diffusion出现之前，它们不过是人们认知中通往人工智能的某种方向而已，类似的方向还有很多，而并没有人真的确定哪条道路是正确的。由此我们可以看出英伟达的布局是多么具有前瞻性，把原本用于让计算机显示图形的并行计算应用于神经网络，这让英伟达比其它任何人都更早地积累了一系列相关技术、算法以及硬件设备，并由此创造了CUDA生态，现在它们共同支撑起了英伟达万亿市值，成为一道短期内很难攻破的企业护城河。正如GPU的产能短期内恐怕得不到解决一样，AI产业短期内依然要被英伟达的资源所左右，英伟达正在决定生成式AI的未来。
GPU Utils 发布了一份关于英伟达GPU——主要是H100的研究报告，试图梳理有关GPU供应和需求的相关问题。
在这篇主要针对美国市场的报告中，我们看到了目前阻碍大模型和人工智能发展的关键瓶颈GPU短缺是如何形成和发展的。
总的来说，GPU瓶颈的出现原因是多方面的，环环相扣的复杂工艺制造流程，半导体周期，对稀缺资源的抢占与恐慌乃至未曾预料到的人工智能的突然爆发，都让GPU算力变得无比紧张。
乐观地看，2024年这一瓶颈或许会有所缓解。
H100 GPU1
数十万张缺口，一百五十亿需求
每个想要在人工智能爆发中分一杯羹的人都需要GPU。准确地说，是英伟达的A100和H100，它们在训练和推理大模型中扮演关键角色。如果要想要从头训练大模型，至少需要上千张A100或H100，而推理和微调大模型也至少需要储存100张。
具体到每家的数量上，报告汇总了一些数据：GPT4在1万到2.5万块A100上训练，Meta有2.1万块A100，特斯拉有7000块，Stability AI有5000块，谷歌云大概有2.5万块H100，微软Azure 有1万到4万块，甲骨文可能也有同样多的H100。值得一提的是，Azure的GPU基本都用来供应OpenAI的训练了。而根据马斯克的说法，GPT5的训练可能会用到3万到5万张H100，因此对未来的估计上，报告指出OpenAI可能需要5万张H100，Meta至少需要2.5万张（也有人说实际上需要10万乃至更多），所有的云服务厂商，微软、谷歌云和亚马逊云以及甲骨文各需要3万张，私有云服务商，比如刚刚融资的CoreWeave等总需求是10万张，而像Claude的开发者Anthropic这样的初创公司也都至少需要1万张GPU。另外，一些金融公司比如JP Morgan等也在部署A100或H100，因此总体上看，对H100的需求超过了43万张。这还是不算中国市场的情况，由于制裁原因，字节跳动、百度、腾讯和阿里巴巴只能大量购买A100和H100的替代产品A800与H800，这一部分的需求没有列入其中，根据《金融时报》的说法，其总额高达50亿美金。如果将这些数字相加，这就是目前英伟达面对的，总计规模高达200亿美元的GPU需求。H100家族，从单个GPU到组合扩展而成的工作站和服务器。2
“买的越多，省得越多”
作为A100的更新版，H100拥有着更好的性能，尽管它的价格更昂贵，单张约为3.5万美元。
英伟达官方给出的关于训练GPT3时A100和H100的不同表现对比
3
没有对手
H100 NVL GPU4
瓶颈到底在哪里？
目前，H100的供应已经相当短缺，有传言说微软Azure和谷歌云的容量实际上已经快用完了，亚马逊云也面对同样的情况，传言目前下单需要等数月乃至半年。导致稀缺的原因是多方面的，最根本的是，GPU是一项极端复杂的技术，需要世界上最先进的生产工艺，而掌握这项工艺的工厂——台积电，它的产能是有限的。目前H100都由台积电代工，使用4N工艺，也就是增强型5纳米制程（相比之下A100使用的是N7），这几乎是目前最复杂的芯片制作工艺，从开始生产到出售给客户，H100中间经历的生产、包装和测试环节一共需要6个月左右，这就意味着对H100的生产需要英伟达和台积电进行提前的布局，这在半导体行业来说是经常的事，但这一次英伟达和台积电显然都对H100需求出现了错误的判断。这很好理解，因为ChatGPT爆发是去年底的事，那时关于今年的生产计划（至少是上半年的计划）已经规划好了，台积电总体的生产能力是有限的，还需要在不同的大客户之间分配，而产能爬坡也需要一个很长的过程——不要忘记生产H100这种GPU包含着全世界最复杂的工艺流程。报告中特别指出其中之一的瓶颈在于所谓CoWoS封装（Chip on wafer on Substrate 芯片、晶圆、基板封装），它目前的月产量是8000片，今年底有望提升至 11,000片， 2024 年底则达到每月 14,500至 16,600片左右的水平，也就是说，想要提升一倍的产量，几乎需要一年半的时间，这当然也是由于生产工艺异常复杂导致。这直接影响了H100的生产，更何况并不是只有一家在使用CoWoS封装工艺，英伟达的竞争对手AMD以及博通、思科和赛灵思等都同样在使用这种工艺制作芯片，又一次，台积电的产能瓶颈限制了GPU的供应。另外，H100所使用的HBM3系列内存也是一个生产难点。报告指出英伟达主要在使用SK海力士的内存，后者是这一领域的领军者，特别是在HBM内存的研发上。HBM技术直接把内存堆栈放在GPU芯片上，实现了更高的带宽和更低的功耗。今年4月20日，SK海力士宣布在全球率先研发出12层堆叠的HBM3内存，单颗容量达到24GB。内存容量越大，意味着GPU可以装载下更大的模型，然而HBM3内存的生产过程也十分复杂，产量提升同样困难重重，实际上另外几家芯片大厂，比如三星和美光，都很难提升HBM内存的产量，据说SK海力士正在根据英伟达的要求增产，在刚刚过去的SIGGRAPH 2023 上，黄仁勋发布了GH200超级芯片的更新版， 采用了增强的HBM3E内存，这可以看作是英伟达在内存领域同供应商密切协作的一个例子。
装有8个H100 的 HGX 服务器5
稀缺性螺旋、配货机制与GPU金融化
通过和台积电以及上下游供应链的积极协调，H100的产量会逐渐提升——英伟达在财报电话会上谈到了这一点，尽管没有对具体数字做任何承诺。
然而当我们理解GPU瓶颈的时候，并不能简单把它等同于产能瓶颈，这是报告中没有明确指出，但又十分显而易见的一点——这种稀缺同时还由各种市场和非市场因素造成。当然，首要的还是英伟达本身对产品的分配。GPU本就稀缺，因此在服务客户的角度上，英伟达推行了一套和奢侈品配货制度颇为类似的机制——由英伟达来挑选自己的客户。报告中指出，哪些客户能拿到多少GPU有赖于英伟达的规划，而英伟达更倾向于为那些没有开发竞品芯片的企业优先分配GPU——谷歌云、亚马逊云和Meta都在开发自己的芯片，因此英伟达似乎更愿意和甲骨文合作，DGX云基础架构的第一个合作对象就是甲骨文。其次，英伟达希望了解最终的客户是谁，它更倾向于为大企业和强大的初创公司提供算力，比如说英伟达投资的AI公司 Inflection 就拥有一个巨大的H100集群，而小型云服务商CoreWeave则拥有比谷歌云更多的H100。CoreWeave完全使用英伟达的GPU，同时也不打算自己做芯片，因此更得英伟达青睐，英伟达甚至还参与了它的B轮融资。CoreWeave的GPU资源有多富？它使用基于H100的云服务训练GPT3大模型只用了11分钟，相比之下OpenAI用一万张A100训练了14.8天。CoreWeave提供的价格列表，HGX H100 每小时价格为4.76美元。基于这种配货的机制，市场上的GPU流动更不平衡，GPU变得不是一个只要有钱就能买到的东西，这助长了另一种稀缺性——囤积居奇。大模型的算法和数据的技术难度相对比较透明，相比之下，算力是一道扎实的无法逾越的护城河，有多少GPU直接决定了AI公司的能力强弱，因此GPU囤积变成了许多公司的一种下意识行为——宁可备而不用，不可用而不备，这当然加剧了GPU的稀缺。迟迟不见提升的产量和坊间各种传闻（比如上面所谓的配货机制，它从来没得到过官方的证实——就像爱马仕从来也不承认有所谓配货机制一样）则造成了一种稀缺的预期，就像对通货膨胀的预期会真的导致通货膨胀一样，对缺货的预期进一步加剧了缺货。这甚至某种程度上导致了GPU变成了一种战略资源，进而成为一种金融衍生品。CoreWeave 在八月初刚刚进行了一笔价值23亿美元的债务融资，抵押物正是手中的H100，如果这笔钱纯粹是基于对H100的市场均价（这里取37万美元）估出来的话，意味着CoreWeave手中有超过6000台HGX H100，也就是近5万张显卡。在去年的GTC上，黄仁勋介绍H1006
结语
GPU的缺货严重影响了AI的发展，OpenAI 首席执行官Sam Altman说过，使用我们产品的人越少对我们反而越好。当然你可以说Sam Altman在得了便宜卖乖（事实上也确实是），但某种程度上，这也是他的真心话，算力瓶颈在限制着所有人，这足以说明人类对AI突破的到来多么缺乏准备。生成式AI和transformer架构都不是最新的发现，它们的理论在很早就在学界广为流传，业界也不乏大举投入其中的公司（当然，OpenAI是最坚决的那个），然而直到ChatGPT和Stable Diffusion出现之前，它们不过是人们认知中通往人工智能的某种方向而已，类似的方向还有很多，而并没有人真的确定哪条道路是正确的。由此我们可以看出英伟达的布局是多么具有前瞻性，把原本用于让计算机显示图形的并行计算应用于神经网络，这让英伟达比其它任何人都更早地积累了一系列相关技术、算法以及硬件设备，并由此创造了CUDA生态，现在它们共同支撑起了英伟达万亿市值，成为一道短期内很难攻破的企业护城河。正如GPU的产能短期内恐怕得不到解决一样，AI产业短期内依然要被英伟达的资源所左右，英伟达正在决定生成式AI的未来。
参考资料：
《Nvidia H100 GPUs: Supply and Demand》
https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/-END -
本文转载自品玩GenAI，内容仅供学习交流，如有任何疑问，敬请与我们联系info@gsi24.com。
▼往期精彩回顾▼
百度、NVIDIA、Intel……各大厂商集结，共话文心与飞桨共享生态下的大模型训推部署创新实践计划
新闻来源：芯师爷，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。
