科普 | 一文看懂AI芯片

AI芯片一般泛指所有用来加速AI应用，尤其是用在基于神经网络的深度学习中的硬件。

➢ 根据技术架构，可分为 GPU 、 FPGA 、 ASIC。

➢ GPGPU——优势：1）生态完善；2）可进行通用计算，应用范围广；3）目前算力最强。缺点：1）无法针对特定场景优化；2）成本高。

➢ ASIC——优势：1）相同价格下算力强大；2）单算力功耗小；3）可以针对特定场景进行优化。缺点：1）没有完整生态，开发、使用成本高；2）通用性差，只能支持特定运算，如矩阵运算等。

二. AI芯片竞争格局：英伟达保持领先地位

➢ 据IDC数据， 2022年中国AI加速卡出货量约为109万张， 其中英伟达在中国AI加速卡市场份额为85%。

➢ 英伟达GPU产品凭借其性能优势在全球主要云平台中得到了广泛运用，如亚马逊AWS、 Google Compute Engine、阿里云等厂商云平台的主要AI芯片均采购自英伟达。

图：民生证券

三. AI芯片市场空间：GPU为主， 2021-2026年CAGR增速近30%

➢ 2021年全球人工智能芯片市场规模为255亿美元，据FrostSullivan预计， 2026年市场规模将增长至920亿美元， CAGR达29.3%。

➢ 据IDC数据， 2022年中国仍以GPU为主实现数据中心计算加速， GPU在人工智能芯片市场中出货量占比达86%。NPU占比达12%，较以往具有明显增长。NPU芯片设计逻辑更为简单，在处理推理工作负载时具有显著的能耗节约优势

图：民生证券

四. AI芯片的硬件性能指标

GPU在硬件方面的核心能力包括：

➢ 算力：单位是FLOPS或者TOPS，表示GPU在单位时间内的峰值运算次数，是GPU的核心性能指标。

➢ 显存：显存的大小在几个GB到几十GB之间，用于存储运算中间过程的临时数据，在GPU算力足够的情况下，显存越大，读取次数越小，延时越低。

➢ 功耗：GPU的功耗和算力、制程、硬件架构等因素有关，相同算力情况下，功耗越大，意味着数据中心的运营成本越高，同时对服务器的电源、制冷都会有更高的要求。

➢ 片间互联：大型AI训练需要使用多个GPU服务器，在服务器外部互联通常使用光纤或高速电缆，而服务器内部GPU之间（通常为8个），则使用NVLink等片间互联技术进行数据交互，如果片间互联传输速率低于服务器外部传输速率，则可能会成为瓶颈。

➢ 显存带宽：GPU与系统内存之间的数据传输速率，单位GB/s；如果显存带宽不足，则系统会出现瓶颈， GPU运算核心可能处于空闲状态，但通常影响不大

五. 训练：单模型训练成本近1200万美金

➢ 以Open AI的GPT-3模型为例，拥有1750亿个参数，租用Azure云服务器进行运算的成本约为200万美金，而实际由于训练通常不止一次，且训练过程中还包括参数的调整等， 参考Alchemy API创始人Elliot Turner估计，训练GPT-3的成本可能接近1200万美金。

图：民生证券

六. 推理：远期芯片及服务器需求快速增长

➢ 近期：假如谷歌所有文字搜索场景全部接入chatgpt，按照gpt3的参数数量（1750亿）计算，所需服务器数量仍然超过10万台量级。

➢ 远期：考虑到未来模型参数呈指数级增长，且除文字交互外，未来图像、视频等多种形态对算力资源的消耗量或将成数倍级增长，远期推理侧所需服务器数量需求或将成数倍级提升。

注：本文节选自民生证券研报，版权归原作者所有，本号转载仅供参考学习和交流之用，不构成任何建议，不代表本号立场。如有任何问题，敬请联系我们（wy@ichunt.com）。