OpenAI内部展示新技术，推理成本直接砍掉一半

据知情人士透露，OpenAI在本月早些时候于内部展示了一项重要的技术进展。该公司通过新研发的优化方案，使算力使用效率得到显著提高，并将模型推理成本降低了50%以上。

据悉，OpenAI的工程师在内部演示中提到，把这项新技术用在处理ChatGPT免费和付费账号之外的访客请求时，所需要的英伟达高端GPU数量大幅减少至数百块左右。相比之下，过去处理同等规模的请求通常需要数万块顶级芯片。

关于OpenAI达成这一效率提升的具体技术细节目前尚未公开。不过根据业界推测，其可能采用了多种常规的优化方法。例如，利用量化压缩技术来降低运算精度，通过键值缓存（KV Cache）来避免重复计算，采用批处理方式合并多条查询请求，或者把简单的请求分配给功耗更低的轻量化模型来处理。

对于生成式人工智能行业来说，算力成本一直是一个主要挑战。此次技术进展有助于减少对高价GPU的依赖。这不仅能够优化OpenAI自身的财务状况，同时也可能推动人工智能技术在更多应用场景中的普及和实际落地。