NVIDIA CEO黄仁勋认为，AI模型在预训练、后训练及推论阶段对算力的需求将持续增加。他指出，业界逐渐意识到扩展模型规模并非唯一途径，开始重视后训练、推论阶段的优化。

黄仁勋特别提及OpenAI的o1模型采用的“测试时间运算”新技术，认为它是“最令人兴奋的发展之一”，通过在推论阶段增加运算时间和资源来提升模型回答品质。

在AI推论方面，NVIDIA面临与Groq、Cerebras等新创公司的竞争，但黄仁勋强调，NVIDIA是全球最大的推论平台，用户规模、产品与技术的可靠性更具优势。

此外，科技公司也在运用强化学习、合成数据等技术，在模型训练完成后进一步优化效能。这些转变表明，AI推论芯片的效能日益受到重视，对芯片业来说是一大挑战和机遇。