随着AI推论应用的兴起，Groq、Cerebras Systems和SambaNova Systems等新兴AI芯片企业看到了建立自家硬件业务的机会。这些企业正试图将原本依赖云端租赁容量的客户转变为系统买家。
AI推论成本高昂，是企业推出基于生成式AI的新应用程序的主要障碍。业界预测，未来几年全球IT市场对推论算力的需求将是AI训练所需运算安装基础的数倍。为降低推论成本，业界正寻求使用更强大的硬件。
Groq通过串联具有576个语言处理单元的GroqChips，实现了高效的推论运算。该系统在Llama 3.1 70B推论基准测试中，每秒可处理315.06个词元，性价比远超NVIDIA DGX H100系统。
Cerebras也推出了基于自家晶圆级处理器的AI推论解决方案，并与高通合作推出推论运算产品。其4芯片系统在Llama 3.1 70B推论基准测试中表现出色，效能是云端LLM API的20倍。
SambaNova也加入了AI推论运算的竞争，其系统在Llama 3.1模型上表现出色，峰值效能远超提供API存取的云端实体。SambaNova已推出免费版与企业版云端推论运算服务。
这些新兴企业的加入，使得AI推论运算市场竞争更加激烈，也为企业提供了更多选择。
