中国算力市场在经历AI运算1.0时代的疯狂囤积算力卡后，进入供需失衡的AI运算2.0时代，仍面临巨大挑战。

业界人士指出，尽管中国科技大厂如字节跳动、阿里巴巴、百度等都在推进十万卡级别算力集群建设，但大量算力资源被闲置，整体算力出现“供过于求”的情况。

图灵新智算联合创始人洪锐表示，自2023年开始，中国算力市场迎来爆发式成长，但随后市场冷却，很多算力卡都未得到充分利用。同时，AI数据中心建设并非简单任务，技术和专业度要求高，建设和需求往往错配，后续规划也存在不足。

工程院院士邬贺铨坦言，中国算力的有效利用率仅30%。在LLM训练周期内，GPU算力卡并不能随时实现高效利用，服务器在LLM部署阶段也常处于待机或低负载状态。

业界人士分析，尽管CPU服务器发展已成熟，但大规模GPU集群仍较难做到高可用性，关键在于GPU整体硬件发展及软件生态不足。

此外，中国GPU市场过于碎片化，各家GPU都有独立的生态体系，导致适配成本过高。面临美系高端AI GPU算力卡供应可能进一步限缩，中国本土替代是既定方向，但内部发展困难也不小。