开放工程联盟MLCommons的最新测试数据显示，高通（Qualcomm）人工智能（AI）芯片在3项能效指标中的两项中击败NVIDIA，台湾新创创鑫智能在1项指标中胜出。

根据路透（Reuter）及ZDNet报导，NVIDIA目前主导使用海量数据训练AI模型的市场。而AI模型经训练后广泛应用于各种推论任务，例如对提示生成文字回应，以及判断影像中是否有猫。分析师认为，随着企业将AI技术应用到其产品中，数据中心推论芯片市场将迅速成长。

MLCommons于4月5日发布的测试数据显示，高通Cloud AI 100在影像分类方面击败NVIDIA的旗舰级芯片H100。Cloud AI 100的服务器查询次数达到每瓦197.6次，而NVIDIA为每瓦108.4次。台湾资深芯片学者林永隆创办的创鑫智能则以每瓦227次查询的速度位居榜首。

在物体侦测方面，高通也击败NVIDIA，其得分为每瓦3.2个查询，而NVIDIA为每瓦2.4个查询。物体侦测可用于分析零售店的影片等应用程序，以查看购物者最常买什麽。

然而，在一项自然语言处理测试中，NVIDIA在绝对效能和功耗方面都拔得头筹。自然语言处理是聊天机器人等系统中应用最广泛的AI技术。NVIDIA达到每瓦10.8个取样，创鑫智能以每瓦8.9个取样排名第二，高通以每瓦7.5个样品排名第三。

在回归推论方面，新创公司Neural Magic的特殊软件能找到神经网络的哪些神经权重可弃用，以节省运算需求。其DeepSparse软件能仅使用CPU，而不需要使用NVIDIA的GPU。

在边缘运算的BERT语言测试中，Neural Magic的DeepSparse软件使用2颗超微（AMD） EPYC服务器CPU，实现从Google BERT神经网络每秒产生5,578个回应的亮眼成绩。

该公司认为，依靠通用的x86芯片而非昂贵的GPU，将有助于降低执行程序的整体成本，将AI推广到更多的公司和机构。

来源：Digitimes