随着AI技术与应用的发展，市场对处理器效能的需求已转向实际部署的推论应用。美国新创Sagence AI利用类比存储器内计算架构，打造全新AI处理器，挑战NVIDIA GPU在AI市场的地位。

Sagence AI的推论芯片技术关键在于使用非挥发性快闪存储器芯片，储存AI权重数值，使推论工作在几乎不消耗电流的情况下进行。这种技术能减少电力消耗并降低成本。

同时，将上亿个运算单位放在同一块芯片上平行运作，即使时脉速度不高，也能获得高效能表现。

据Fierce Electronics报导，以每秒处理66.6万个词元的要求运行700亿参数的Llama 2时，NVIDIA的H100 GPU需要944个机架和625千瓦电力，成本约3,900万美元。

Sagence AI的存储器内运算类比推论技术仅需23.6个机架、10.6千瓦电力和200万美元，即可完成同样工作。

目前，Sagence AI的这项全新类比解决方案尚未取得基准测试的佐证，实际结果仍有待观察。