GPU不够用了。
文｜《中国企业家》记者闫俊文编辑｜李薇图片来源｜视觉中国
中国科技公司和创业者竞相追逐大模型，引发GPU芯片需求量的暴增，以及价格的疯狂上涨。GPU是ChatGPT训练和部署的关键部件，这是强大算力的基础设施。根据公开消息，微软的Azure云服务为ChatGPT构建了超过1万枚英伟达A100 GPU芯片的AI计算集群。千芯科技董事长陈巍告诉《中国企业家》，以A100芯片为例，从去年年底到现在，其单价涨了超过50%，从之前约5万元涨到了近10万元。由于A100已经被美国禁止售往中国内地，国内同行预估仅有3万枚存量。英伟达推出的A100替代版A800，国内厂商也是排队拿货，并且常常无货。国内某大型服务器厂商的员工王石也感受到了这股浪潮。他告诉《中国企业家》，近期供应的压力比较大，包括英伟达等供应商的压力也比较大，但这并不代表错过了这一波就没有机会了，“相信今年年内供需回归到相对理性的水平”。“我要给大家降温。这是一个突发的需求，大家不要着急，不是说我错过了这两个月或者三个月，我就失败了，远远没有到那个时候。”王石强调。据《中国企业家》统计，除了阿里巴巴、百度等互联网巨头之外，商汤科技、昆仑万维、毫末智行、360等公司也官宣了自己的大模型，如果再加上王小川、王慧文、李开复等创业者，中国年内推出的大模型数量已经超过了10个。长按参与：NVDIA在线研讨会 | 成功的大语言模型（LLM）背后的 NVIDIA 全栈智能网络技术
一些行业人士预测，国内需要有8至20个大模型，比如生物医药计算、材料计算、化学计算、自动驾驶、气象等大模型，甚至未来四五十个也说不定。算力、算法和数据构成了AI时代的三要素，而算力又是电力般的基础设施，有多少枚GPU，有多少算力，成为外界评估大模型研发和创业成败的关键。在这一轮由ChatGPT掀起的大模型创业潮里，黄仁勋和英伟达成为了大赢家。据统计，2020年，全世界跑AI的云计算与数据中心，80.6%都在用英伟达的GPU驱动。截至发稿，英伟达股价为270美元，比2022年9月时的低点119美元翻了一番，总市值为6669亿美元，成为美国第五大上市公司，比德州仪器、超威半导体（AMD）、高通、英特尔等芯片企业市值相加还要多。
五分之二的预算买算力
英伟达已经供不上货了。近期，马斯克为推进推特内部的新AIGC项目，购买了大约1万枚GPU。从2022年末，微软就实行了GPU资源配额供给，但今年1月以来审批时间越来越长，如今部分申请需要等待几天甚至几周才能获批。同时，微软向英伟达预订的数万枚GPU芯片，交货无期。2月份，出门问问CEO李志飞和美团联合创始人王慧文，讨论了大模型创业要花多少钱、入门门槛什么样。李志飞认为，门槛至少需要5000万美元，其中的2000万美元就是用来购买算力的。王慧文和李志飞不久前相继宣布在大模型领域创业。根据陈巍测算，国内如果想要直接训练出一个ChatGPT-3级别的大模型，常规最少需要1000枚A100级别的GPU芯片，而如果想要实际部署，不考虑冗余和响应速度，对于搜索引擎级别的服务，至少需要6000枚A100级别的GPU芯片。仅仅芯片一项，最小投入就到了近10亿元人民币。一份流传的《阿里AI专家交流纪要》显示，百度年初紧急下单3000台8张芯片的A800服务器，这意味着需要2.4万枚A800，而预计全年百度会有A800和H800共5万枚的需求。阿里云预计在今年需要1万枚左右，其中6000枚是H800。此外，阿里云也会用到平头哥这种自研的芯片，每年采购大概3000枚。2022年9月，英伟达发布H100型号GPU，但被美国禁止出口至中国，但英伟达怎会忍心错过中国的大模型热，为了出口，英伟达牺牲了部分性能，在今年推出了H800版本。对照百度发布的文心一言，陈巍测算，按照国内成本估算单次应答成本5分钱，如果日访问量10亿人次，以月租价格评估，每天云计算成本约5000万元人民币，一个月将增加成本15亿元，一年增加成本180亿元，远远高于训练成本。此前媒体估算，ChatGPT光3月份的电费就得交近200万美元，这差不多跟27.5万中国居民一个月用电量相当。《中国企业家》了解到，对于不缺钱的巨头来说，A100存储量也不多，未来采购以A800和H800为主，但仍需要V100等老式芯片补充。V100性价比高一些，在云上跑的成本是A100的三分之二左右，但运行速度较慢，如果是ChatGPT-4级别大模型就不够用了。也就是说，要想大模型算得更快、更准，必须适配最先进的GPU芯片。虽然拿不到最先进的GPU，但大模型玩家依然在积极囤货。按照上述数字估算，国内对A800以及H800的需求已经到了数十万级别。王石说，目前来看，对于算力的需求可以说是上不封顶，有多少算力，都希望能够投身进来，“只能这么说，越多越好”。仅仅靠资本似乎已经玩不转了，大模型之战，最后结局可能还是巨头之间的游戏。一位头部投资机构的负责人告诉《中国企业家》：“创投界这点资本是不值一提的，资本它对整个行业的格局不造成影响，本来就这点钱也投不起，中国这几个VC加上PE，今年不在ChatGPT上投下10亿、20亿美元，水漂都打不起来，做不了几个训练级，但是百度和华为如果愿意在上面努力去做的话，我觉得投得起。”
瘸腿奔跑的中国大模型
不管是阿里巴巴、腾讯、百度等巨头，还是王慧文、王小川等创业者，他们不得不戴着枷锁跳舞：一方面，迫于美国的芯片禁令，他们得不到最先进的芯片源源不断的支持；另一方面，他们还要追赶国外已经到了ChatGPT-4水准的技术。
陈巍感慨中国AI企业的不易。如果得不到国外先进的芯片，中国企业只能使用比较老旧或者工艺成熟但不那么先进的芯片，综合性能可能只有A100的60%，数量需要更多，跑得却更慢，综合成本要高出20%至30%，对于企业来说，这很有可能是赚钱和不赚钱的分水岭，活下去和活不下去的分水岭。
处处受限，起步又晚，但大模型也得干下去。王小川在接受媒体采访时说，晚了也得干。美国人之前把核弹造出来，中国就不造了吗？这跟创业公司本身没关系，是中国要不要做的问题。王石认为，中国企业没必要“芯片焦虑”。他提到了前几年“挖币”造成的硬盘泡沫，结果造成了SSD（硬盘）的一地鸡毛，整个硬盘厂商在2022年整年可能都在消耗库存。GPU只是大模型创业链条中的一环，机房环境、算法、人才等等也必须配套跟上。IT设备特别是计算设备的迭代和更新太快，如果在没有准备好的时候，放在库房里没有用，放一年，价值就浪费了。“现在都在用A800，今年下半年就有H800，性能提升很快，这个时候抢到了A800，但如果还没有用起来，是没有价值的，永远会有新产品出来。”王石表示。王石还补充说，现阶段，算力的供应无论如何是不够的。这有两个策略，一个是把后台的产能跟上，另一个则是优化效率，通过算法等技术手段提升可用算力的效率。长按参与：NVDIA在线研讨会| 成功的大语言模型（LLM）背后的 NVIDIA 全栈智能网络技术
英伟达成最大赢家
阿里和腾讯近期在算力市场都有重大动作。阿里云在4月11日峰会上说，阿里云进行有史以来最大幅度的一次降价，通用计算将大幅降低，对比上一代主售产品最高可下降40%，还发布了“飞天免费试用计划”，开放计算存储、数据库、机器学习等核心产品免费试用。腾讯则发布了新一代高性能计算集群HCC，采用了国内首发的英伟达H800 GPU。有数据称，腾讯云新一代集群的算力性能较前代提升高达3倍，是国内性能最强的大模型计算集群。但不管哪家，他们都摆脱不了一个名叫英伟达的厂商，其创始人黄仁勋，江湖人称“黄教主”，他多次为此次ChatGPT浪潮鼓风。“我们正处于AI的iPhone时刻。”黄仁勋在3月2023年GTC大会上说，“初创公司正在竞相打造颠覆性产品和商业模式，科技巨头也在寻求突破。”在此次大会上，黄仁勋发布了ChatGPT专用芯片H100，而且他宣布，将会把由八块旗舰版A100或H100芯片集成的超级AI计算系统通过租赁的方式开放给企业。每月租金为37000美元，以加速推动这轮大语言模型引领的AI繁荣。外媒一份数据显示，英伟达占据了95%图形处理器的市场份额。IDC数据显示，国内GPU服务器在2021年占国内服务器市场规模的比例超过88.4%，英伟达的产品占比超80%。联想集团CTO芮勇说，目前来看，还是英伟达的天下，但未来不确定，因为大家对算力的需求只会越来越大。行业人士说，未来GPU和算力的需求一定是多元的，或者说异构的。到了现在算力需求大爆发的时候，带来的第一个变化就是在这个领域多元化的蓬勃发展。水大鱼大，但虾米和浮游生物等也会有存活机会。多元带来了更多的机会，但是最后谁能胜出，就看谁的战略定力，能持续地投入。
（应采访对象要求，文内王石为化名）
长按参与：NVDIA在线研讨会| 成功的大语言模型（LLM）背后的 NVIDIA 全栈智能网络技术
