英伟达放大招:超级芯片GH200含2000亿个晶体管!
来源:芯论 发布时间:2023-05-30 分享至微信

作为AI芯片和计算系统的主要供应商,英伟达已跃升为全球市值最高的上市半导体公司。近日英伟达CEO在COMPUTEX大会上更是接连甩出了多项重磅新品,包括GH200超级芯片、大内存生成式AI超级计算机DGX GH200……

GH200超级芯片

其中,Grace Hopper超级芯片GH200已经全面投产。这些芯片是英伟达新推出的DGX GH200人工智能超级计算平台和 MGX 系统的核心组件,它们专为处理海量的生成型人工智能任务而设计。

GH200是英伟达开发的基于Arm架构的CPU+GPU集成方案,它将72核的Grace CPU、Hopper GPU、96GB 的HBM3和512 GB的LPDDR5X集成在同一个封装中,共有2000亿个晶体管。这种组合提供了CPU和GPU之间惊人的数据带宽,高达1TB /s,为某些内存受限的工作负载提供了巨大的优势。

图源:英伟达

DGX GH200超级计算机

DGX GH200人工智能超级计算机则集成了英伟达最先进加速计算和网络技术。

这款超算专为大规模生成式AI的负载所设计,由256块GH200超级芯片组成,拥有1 exaflop超凡AI性能、144TB内存(是英伟达目前DGX A100系统的近500倍)、150英里光纤、2000多个风扇。

预计DGX GH200将于今年年底投入问世,英伟达暂未公布价格,而谷歌云、Meta与微软将是首批用户。

同时,英伟达也正在打造自家基于DGX GH200的大型AI超级计算机NVIDIA Helios,以支持其研究和开发团队的工作。其中采用4个DGX GH200系统、1024颗Grace Hopper超级芯片,每个都将与英伟达Quantum-2 InfiniBand网络连接,带宽高达400Gb/s,将于今年年底上线。

图源:英伟达

CPU成本、功耗、处理数据量不如GPU

在本次大会上,英伟达CEO还以数据中心成本架构比较,直言以GPU建置的数据中心将远低于 CPU,强调买越多、省越多 (The more you buy, the more you save.)。

英伟达CEO指出,尽管CPU过去几年指令周期不断提升,但进入AI时代后,以CPU为运算基础的时代已经结束,现在大型语言模型 (LLM) 需要更新的解决方案。

假设建置数据中心预算为 1000万美元,可以选择建置1座搭载 960颗CPU、功耗达 11GW 的数据中心,抑或是选择建置 1 座有 48 颗 GPU、功耗仅需 3.2GW 的数据中心,且 LLM 数据处理量是 CPU 的 44 倍。

若以处理同样数据量的大型语言模型 (LLM) 来看,可以选择斥资 1000 万美元,建置 1 座搭载 960 颗 CPU、功耗达 11GW 的数据中心,抑或是选择只花费 40 万美元,建置 1 台需要 2 颗 GPU、功耗仅需 0.13GW 的数据中心。

5月25日,英伟达公布了明显高于华尔街预期的季度营收预测,此后该公司股价在一天内飙升24%。季度报告表明,营收的上涨主要受惠于云计算平台和大型科技公司对GPU芯片的需求。


免责声明:本文由作者原创。文章内容系作者个人观点,全球电子市场转载仅为了传达一种不同的观点,仅供交流学习之用,不代表对该观点赞同或支持,如果有任何异议,欢迎留言联系。


温馨提示:

最近微信公众平台推送规则改变,很多读者反馈没有及时看到更新的文章。根据最新规则,建议多点击“推荐阅读、分享、收藏”等,成为常读用户。

[ 新闻来源:芯论,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!