利润1000%!英伟达H100凭什么
来源:芯视野 发布时间:2023-08-28 分享至微信



北京时间8月24日凌晨,英伟达发布截至7月30日的2024财年第二财季财报。第二财季,英伟达营收135.1亿美元,同比增长101%;非美国通用会计准则下净利润为67.4亿美元,同比增长422%。


而造就英伟达疯狂业绩的最大推手无疑就是AI——用于处理AI计算的GPU需求火爆,使得英伟达数据中心业务收入翻倍,营收占比拉高到76%,增速远超前一季度,刷新单季最高纪录。

根据GPU Utils的测算,英伟达AI芯片H100在2023年8月的市场总需求可能在43.2万张左右,这个数字还没有包括中国区特供的H800,国内各家大模型厂商对H800的需求也居高不下。

在财报公布前,英伟达高端AI GPU不断传出涨价声,Barrron's引述瑞杰金融分析师的数据指出,一张H100制造成本为3320美元,而售价则高达2.5万~3万美元,利润率高达1000%,且需求只增不减,H100已售罄缺货到2024年。毛利率超过70%,对芯片产品而言,有些不可思议。


英伟达的GPU为何会如此受追捧?

国外分析师认为,英伟达构建的CUDA软件生态是客户无法轻易转向AMD等竞争对手的主要原因。原因在于,AI算力的配置绝非简单的硬件堆叠,要把1000张加速卡、100台AI服务器放在一起,跑同一个LM训练或推论任务,还需要大量的配套软件、通讯网络,还不包括客户的大量数据。

即便把重达30多公斤、多达3.5万个零件组成的英伟达HGX平台层层堆起来,也堆不出LLM必须的AI算力。黄仁勋把H100这类AI GPU称为“技术奇迹”,并非没有原因。

至于H100为何价格高昂?在硬件层面上,H100采用了四大先进技术。

图源:anandtech

第一是台积电4纳米制程(4N,其实并非真正的4nm,叫做5nm+或许更合适),要让这一颗长26.8厘米、宽11.1厘米、含有800亿个晶体管的H100发挥前所未有的效能,非台积电代工莫属。

第二是连接技术,每张H100包含3个NVLink连接,这是英伟达独家的数据传输技术,第四代NVlink可提供每秒900GB的GPU对GPU互连带宽,以便将更多H100互连使用,获得倍增的效能。

第三是80GB的HBM2e高带宽存储器,目前仅SK海力士、三星电子可供应,值得注意的是,英伟达刚刚宣布将最新的HBM3e植入最新GH200,是全球第一个支持HBM3e的GPU产品。

第四是台积电的独家技术:CoWoS封装,台积电正积极扩建CoWoS产能,但供不应求情况恐将持续到2024年。CoWoS工艺能够提供更好的成本、散热和吞吐带宽,后两者对GPU特别重要。

这四大技术每一项均属尖端领域,如果说LLM推动AI GPU加速运算时代来临,但让英伟达站在当前科技舞台上独舞的关键,却是黄仁勋领导团队的长期押注与心血累积。




-END-


往期精选

200人!高通裁员延烧至台湾地区

惠普确定“落脚”泰国!服务器供应链也启动第二波迁移

比亚迪VS特斯拉:胜在何处?


免责声明:

1、整理自“digitimes”版权归原作者所有,如有侵权请联系修改或删除

2、本平台对转载、分享的内容、陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完善性提供任何明示或暗示的保证,仅供读者参考,本公众平台将不承担任何责任。



[ 新闻来源:芯视野,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!