利润1000%！英伟达H100凭什么

来源:芯视野发布时间:2023-08-281594浏览

北京时间8月24日凌晨，英伟达发布截至7月30日的2024财年第二财季财报。第二财季，英伟达营收135.1亿美元，同比增长101%；非美国通用会计准则下净利润为67.4亿美元，同比增长422%。

而造就英伟达疯狂业绩的最大推手无疑就是AI——用于处理AI计算的GPU需求火爆，使得英伟达数据中心业务收入翻倍，营收占比拉高到76%，增速远超前一季度，刷新单季最高纪录。
根据GPU Utils的测算，英伟达AI芯片H100在2023年8月的市场总需求可能在43.2万张左右，这个数字还没有包括中国区特供的H800，国内各家大模型厂商对H800的需求也居高不下。
在财报公布前，英伟达高端AI GPU不断传出涨价声，Barrron's引述瑞杰金融分析师的数据指出，一张H100制造成本为3320美元，而售价则高达2.5万~3万美元，利润率高达1000%，且需求只增不减，H100已售罄缺货到2024年。毛利率超过70%，对芯片产品而言，有些不可思议。

英伟达的GPU为何会如此受追捧？
国外分析师认为，英伟达构建的CUDA软件生态是客户无法轻易转向AMD等竞争对手的主要原因。原因在于，AI算力的配置绝非简单的硬件堆叠，要把1000张加速卡、100台AI服务器放在一起，跑同一个LM训练或推论任务，还需要大量的配套软件、通讯网络，还不包括客户的大量数据。
即便把重达30多公斤、多达3.5万个零件组成的英伟达HGX平台层层堆起来，也堆不出LLM必须的AI算力。黄仁勋把H100这类AI GPU称为“技术奇迹”，并非没有原因。
至于H100为何价格高昂？在硬件层面上，H100采用了四大先进技术。

图源：anandtech
第一是台积电4纳米制程（4N，其实并非真正的4nm，叫做5nm+或许更合适），要让这一颗长26.8厘米、宽11.1厘米、含有800亿个晶体管的H100发挥前所未有的效能，非台积电代工莫属。
第二是连接技术，每张H100包含3个NVLink连接，这是英伟达独家的数据传输技术，第四代NVlink可提供每秒900GB的GPU对GPU互连带宽，以便将更多H100互连使用，获得倍增的效能。
第三是80GB的HBM2e高带宽存储器，目前仅SK海力士、三星电子可供应，值得注意的是，英伟达刚刚宣布将最新的HBM3e植入最新GH200，是全球第一个支持HBM3e的GPU产品。
第四是台积电的独家技术：CoWoS封装，台积电正积极扩建CoWoS产能，但供不应求情况恐将持续到2024年。CoWoS工艺能够提供更好的成本、散热和吞吐带宽，后两者对GPU特别重要。
这四大技术每一项均属尖端领域，如果说LLM推动AI GPU加速运算时代来临，但让英伟达站在当前科技舞台上独舞的关键，却是黄仁勋领导团队的长期押注与心血累积。