随着AI技术的飞速发展，芯片市场正迎来重大变革。中国深度求索（DeepSeek）R1等推理模型的兴起，使得运算需求从训练转向推论，吸引了众多新创公司和科技巨头开发定制化AI加速器。

据摩根士丹利预测，未来几年美国数据中心超过75%的电力和运算需求将来自推论，可能带来数千亿美元商机。

巴克莱银行预测前沿AI的推论资本支出将从2025年的1226亿美元，跃升至2026年的2082亿美元。然而，NVIDIA虽然在AI训练市场占据主导地位，但在推论运算方面可能面临挑战，其市占率可能仅为50%。

许多财星500强企业希望使用生成式AI技术，但又不想自建AI基础设施，这为芯片新创公司提供了机会。D-Matrix、Cerebras等公司认为，针对推论优化的芯片能更高效地完成任务。

AI推论阶段更注重回应速度，存储器传输速度成为影响推论效能的关键。D-Matrix已推出首款推论产品Corsair，由台积电制造。

此外，云端供应商也在积极开发自家AI加速器，以降低对NVIDIA高端GPU的依赖。面对竞争，NVIDIA强调自家芯片在训练和推论方面都很强大，且已大幅提升推论效能。