AI服务器价格涨近20倍！带火哪些芯片？

来源:是说芯语发布时间:2023-05-27974浏览

“是说芯语”已陪伴您1593天

“所有与英伟达相关的AI服务器都在涨价。”有企业最近向媒体透露，“去年8万元一台的AI服务器，今年已经涨到160万元，涨了近20倍。”

ChatGPT大火后，各大科技企业纷纷发力AI大模型，作为通用的算力芯片，英伟达的高端GPU开始供不应求。A100价格从去年年底开始暴涨，至今涨幅接近40%，连上一代V100的价格也被炒到近10万元，中国特供版A800更是相当紧缺。
AI服务器的涨价很大程度上与这波行情有关，作为算力的基础设施，无论是训练，还是模型推理，AI服务器都是必需品，且往往需要的不止是一台两台。那么AI服务器是什么？跟一般服务器有什么区别？英伟达的GPU，为何让AI服务器大涨特涨？除了GPU，AI服务器里还用到哪些芯片？哪些芯片能够跟着受益？

01什么是服务器？如何分辨AI服务器？

AI服务器由传统服务器演变而来。服务器，几乎是办公室打工人手里电脑的翻版，它属于高性能计算机，存储、处理着网络上80%的数据、信息，被称为网络的灵魂。
如果微机、笔记本、手机等网络终端是分布在家庭、办公场所、公共场所的电话机，那么服务器就是邮局的交换机，把网友们共享的网络游戏、网站，企业的数据等存放其中，又可分为文件服务器、云计算服务器、数据库服务器等。

放置服务器的机房，全年无休，来源：ecl-ips.com
相比电脑，服务器在稳定性、安全性、性能等方面都要求更高，毫不夸张地说，每年双十一若不是有足够牛X的服务器，购物狂欢节会变成“网络错误”或“请稍后再试”的刷屏节。
毕竟短短一两分钟内，就要处理剁手党们发送给电商服务器的上千亿交易订单，再发送给用户进行响应，数据流量到达巅峰（2018年，天猫双11支付峰值为25.6万笔/秒，数据库处理峰值为4200万次/秒），每年对服务器的性能都是一次大考。
这操作放在1964年诞生的第一代服务器System/360身上大概是无法想象的，那时无论网络还是分布式计算都没诞生，当年IBM推出它的时候，还是在协助美国太空总署建立阿波罗11号的数据库，助力人类登月。它每秒可计算100万次，价格高达200-300万美元一台，体积庞大，很多银行采购这样的IBM大型机开展业务。
很快在1965年，服务器的价格被打了下来，这年DEC公司开发了PDP-8小型机，掀起了小型机革命。90年代初，互联网兴起，RISC架构的服务器如日中天，英特尔x86架构的服务器让很多小企业甚至是个人用户都能买得起，不到20年的时间，英特尔迅速统治了各类计算机市场。

在AI服务器之前，服务器大致经历了Wintel时代、云计算时代两个时代的演变，随着新一代人工智能技术的到来，摩尔定律的“到头”，CPU的物理工艺和核心数接近极限，单靠CPU提供算力的传统服务器，很难满足AI对密集型计算的需求。
机器学习和人工智能代表了一个基本的新架构，人工智能需要专属的基础结构进行承载和支撑，AI服务器从此应运而生。
谷歌、BAT等企业面对海量的数据，打造一座数据中心时，通常都要配备成千上万台服务器。以用到A100的ChatGPT为例，其部署的大算力计算，每个GPU或大算力AI芯片的算力大于100TFLOPS。这时就要给服务器们上更高的配置，强强联手，搭载GPU或者其他类型的AI芯片，比如GPU就非常擅长做一些CPU做不了的密集型数据运算。
AI服务器和普通服务器最大的区别，就是AI服务器通常打组合拳，比如CPU+GPU、CPU+TPU、CPU+其他的加速卡等，CPU在AI服务器中，彻底卸下了算力的包袱，当当领导指挥下就行。

02一台AI服务器涨价近20倍，凭啥？

一台AI服务器的价格，从去年到现在涨了近20倍。而一台普通服务器，都换不到AI服务器里的8个GPU，价格上相形见绌。大家都在数据中心里躺着，凭什么AI服务器这么金贵，价格疯涨？
在AI服务器中，CPU退居幕后，GPU等AI芯片在其中充当主角做大量运算，算力无止境，事实上，AI服务器通常有且不仅只有一块GPU。
虽然FPGA、各类ASIC芯片也可以做大量运算，但GPU强大的通用性使得它更吃香。IDC数据显示，2021年上半年中国人工智能芯片行业中，GPU显著成为实现数据中心加速的首选，占有90%以上的市场份额。
CPU方面，AI服务器一般仅搭载1-2块CPU，GPU的数量就占上风了，根据GPU数量的不同，AI服务器进一步分为四路、八路和十六路服务器，搭载8块GPU的八路AI服务器最常见。
AI大模型分为训练和推理两种，训练模型要求的算力很高，推理相对要求低一点，但大模型总有一天会训练出来，推理却永无止境，比如ChatGPT与我们对话就是推理的过程，从算力总需求上来看，推理可能甚至要高过训练。
算力的高低最直观的影响就是速度，谁也不想训练一个模型要耗上个把年，等AI回答个问题，等到人老珠黄。在这个内卷的时代，谁快，谁就有饭吃。
有研究机构测算，以GPT-4为例，为满足最高 75352 PFlop/s-day的算力，在5 PFlop/s-day的计算速度下，20天完成，需要采购754台浪潮NF5688M6服务器（2 CPU + 8 GPU），缩短至15天，就要1005台，缩短至5天完成，就要多达3015台！
浪潮NF5688M6搭载了两颗intel ice lake处理器，8颗英伟达A800GPU，京东售价约105万，按照CPU约5.3万/颗，GPU约10.4万元/颗计算，CPU和GPU的价值量占比为10.10%和79.24%。

说白了，玩家为了大模型的运算效率，得加钱，氪金充值。
放在整机上，GPU的成本还是遥遥领先，无人能敌。普通服务器和AI服务器的BOM表显示，AI服务器单机平均售价（ASP）比普通服务器要高出5倍，AI服务器对AI芯片如英伟达的A100需求大，而普通服务器甚至都不需要用到专业的AI芯片。
普通服务器最贵的CPU，单机ASP 14400美元，不到AI服务器中GPU 96000美元的四分之一，而普通服务器40000美元的单机总成本ASP，也不及AI服务器GPU这一项成本的一半。讲个笑话，一台普通服务器，都换不到八路AI服务器里的8个英伟达A100。
这就是AI服务器容易价格疯涨的原因，背后成本占比高，单价昂贵的英伟达A100等GPU几乎成了决定性因素。

来源：中金点睛
挖矿潮过去后，英伟达显然嗅到了生成式AI热潮的铜臭味。有业内人士表态，早在去年6月开始，英伟达就已经宣布上调A100价格，涨幅在20%左右，由于美国禁令，英伟达特供中国的A800版本在ChatGPT爆火之前已经出现了涨价，导致市场上出现了众多炒货行为。
虽然国内有华为、百度、阿里等自研的AI芯片，也有部分服务器厂商使用这些芯片，但整个AI服务器市场，英伟达还是独占鳌头的那个，所以英伟达就成了AI服务器这条涨价线的源头。
ChatGPT的大火，导致英伟达高端GPU价格一路上涨。有代理商透露，英伟达A100价格从去年12月开始上涨，截至今年4月上半月，5个月价格累计涨幅达到37.5%；同期A800价格累计涨幅达20.0%。
GPU的持续缺货，进一步影响AI服务器厂商的出货，连带着下游云服务厂商，AI企业都要受到影响。今年以来，AI服务器价格大涨的消息不绝于耳。
英伟达也向台积电追加订单，但GPU需要的先进制程产能毕竟有限，因此交货周期还是没有幸免拉长，之前拿货周期大约为一个月，现在基本都需要三个月或更长。甚至，部分新订单“可能要到12月才能交付”。
一些云服务厂商开始缩衣减食，严格限制内部对GPU的使用量。有厂商表示，“后悔买少了。”颇有种汽车缺芯时那种差之一“芯”，失之万台的感觉。

03AI服务器还带动了哪些芯片需求？

无论GPU如何带动AI服务器涨价，本质上是AI市场需求的体现，就像前两年汽车缺芯一样。这种需求的出现往往伴随的不只是一种芯片的激增。
中金测算，AI服务器核心组件按价值量由高到低依次为GPU、DRAM、SSD、CPU、网卡、PCB、高速互联芯片和散热模组等，按7.5万台训练型和17.5万台推理型服务器测算，对应市场规模分别为240亿美元、88亿美元、48亿美元、34亿美元、5亿美元、3亿美元、2.5亿美元和1.5亿美元。

来源：中金点睛
而除了GPU、存储这两个价值量提升比较大的芯片外，接口、网卡、散热、PCB等的价值量都有提升。相较普通双路服务器，AI服务器核心器件单机价值量提升倍数由高到低依次为GPU（24x）、DRAM（5.3x）、板内互联接口芯片（3.3x）、电源管理（3x）、散热（3x）、PCB（2.4x）、网卡（2.2x）和SSD（2x）。
排在GPU之后，存储芯片，貌似第一个活过来了。
存储芯片（成本占比近30％）
据Open AI测算，2012年以来全球头部AI模型训练算力需求3-4个月翻一番，每年头部训练模型所需算力增长幅度高达10倍，远超摩尔定律的增长速度，GPT-3相较GPT-2在数据存储端从百G提升至40T，在存储量上有约100倍的提升。
数据中心成为存储增长的重要引擎。TrendForce 最近将32GB DDR5 DRAM的Q2平均固定交易价格预估值从75美元调升至80-90美元。分析师指出，应用于AI服务器的128GB DDR5比64GB DDR4贵上10倍，订单仍持续涌进。
美光的数据显示，一台AI服务器DRAM使用量是普通服务器的8倍，NAND是普通服务器的3倍。此外，HBM（高带宽内存）也逐步提高在中高端GPU中的渗透率，自2021年以来在数据中心应用中快速增长，2023年2月以来，HBM3规格DRAM价格上涨。TrendForce预测，2023-2025年HBM市场CAGR有望成长至40%-46%以上。
根据美光测算，数据中心整体存储需求约占存储总市场的31%，2021年数据中心DRAM和NAND分别约300亿美元和200亿美元，预计到2025年分别增长至500亿美元和300亿美元，预计到2030年分别增长至1000亿美元和700亿美元，2021年~2025年合计CAGR为14%。随着数据量的大规模增长，存储设备在数据中心采购的BOM中占比进一步提升，美光曾提及，目前存储芯片在数据中心采购中比例约为40%，未来预计将提升至50%。
CPU（成本占比7％）
x86、ARM、RISC-V是CPU的三大技术架构，在服务器市场，x86处理器市占率超90%处于主导地位，而英特尔是CPU市场，特别是服务器领域是绝对的领导者。
Mercury Research最新公布的统计数据显示，2023年第一季度，英特尔继续在台式 PC、移动和数据中心CPU市场占据主导地位，在整个X86数据中心市场，英特尔市场份额为74.2%，AMD市场份额为25.8%。
服务器用的CPU从制程工艺上而言可能都落后于个人电脑用的一代，但售价往往是其10倍以上。但两者逻辑不同，服务器讲究后台运算，它看重功耗和稳定性，以此通过更多的核心数，更大的缓存来提高算力，而个人电脑强调影音娱乐体验，频率要求高。
接口芯片（3.3倍的价值量提升）

PCIe 开关或 PCIe 交换机，主要作用是实现 PCIe 设备互联，PCIe Switch 芯片与其设备的通信协议都是 PCIe。根据 QYResearch（恒州博智）的统计及预测，2021 年全球 PCIe 芯片市场销售额达到了 7.9 亿美元，预计 2028 年将达到 18 亿美元，年复合增长率（CAGR）为 11.9%。博通、微芯科技和祥硕科技为领域龙头。目前全球仅少数几家公司具备 PCIe Switch 芯片技术，核心厂商主要包括博通、微芯科技和祥硕科技三家，共占有全球约 58%的份额。
数模信号混合芯片，Retimer，功能主要为重新生成信号。在 AI 服务器中，GPU 与 CPU 连接时至少需要一颗 Retimer 芯片来保证信号质量。很多 AI 服务器都会配置多颗 Retimer 芯片，例如 Astera Labs在 AI 加速器中配置了 4 颗 Retimer 芯片。目前谱瑞、Astera labs、澜起科技是 PCIe Retimer 蓝海市场中的三家主要厂商，占据领先地位。
高速串行接口芯片，针对AI服务器中PCIe带宽限制对于GPU间通信带来的阻碍，以 NVIDIA NVLink 为代表的高速接口芯片应运而生。全球各大芯片厂商均在关注高速接口的相关技术，除了NVIDIA的 NVLink 之外，AMD 的 Infinity Fabric 和 Intel 的 CXL（Compute Express Link）等也为服务器内部的高速串联提供了解决方案。

来源：方正证券
内存接口芯片，按功能分为两类，分别是寄存缓冲器（RCD）以及数据缓冲器（DB）。内存接口芯片是技术密集型行业，需要通过 CPU、内存和 OEM 厂商的全方位严格验证后，方可进行大规模使用，新的玩家很难介入。在 DDR5 世代，全球只有三家供应商可提供 DDR5 第一子代的量产产品，分别是澜起科技、瑞萨电子（IDT）和 Rambus。
电源模块相关芯片（PMIC芯片，3倍的价值量提升）

服务器内部主要使用模块化的开关电源，具有体积小、功率密度高、转换效率高和噪声低等优势。中金预计全球服务器电源模块的市场规模约150亿元。全球主流电源厂商包括台达电子、艾默生和光宝科技等，国内中国长城规模领先。截至目前，我国模块电源商有上百家，格局分散，CR10小于60%。
参考资料：[1]到底什么是AI服务器：世间本无AI服务器，胡克[2]AI浪潮之巅系列：服务器，算力发动机，中金点睛[3]行业深度：AI服务器中到底需要多少PCB，国金电子

加入“中国IC独角兽联盟”，请点击进入

---------------------- END----------------------

推荐阅读：

无人再提中兴通讯

芯片退烧，薪资打骨折都拿不到offer
论OPPO芯片公司倒闭的必然性
 芯片行业他塌不了

“昨晚还在加班，一醒来公司没了” ！公司楼下已站着大量猎头，有人几小时找到工作
 寒武纪撑不起一千亿

每天倒闭16家芯片公司，少产350亿块芯片，什么信号？
光刻机救不了中国半导体

5000多家芯片企业，毁于“弯道超车”
亏损严重的国内芯片公司，还会招年薪百万的人才吗？
“杀死”光刻机全球第一，比造一台光刻机容易多了

半导体衰退，比我们想象严重得多
 深度聊下：近期半导体行业的趋势

我国光刻机发展怎么样了？

半导体到底怎么了？

美国芯片封锁：缘由、影响、及应对