Sagence AI利用类比技术,降低LLM运行功耗
来源:ictimes 发布时间:一周前 分享至微信

随着生成式AI的快速发展,降低LLM运行功耗与成本成为业界重大课题。Sagence AI基于先进类比技术的存储器内运算架构,能够大幅降低LLM运行功耗、成本及机架空间。


高盛预测,到2030年,数据中心电力需求将增加160%,AI模型规模不断膨胀,功耗问题愈发严重。Sagence AI创始人兼CEO Vishal Sarin表示,公司愿景是创造一种与现行AI技术截然不同的技术,以解决功耗问题。


该公司利用类比技术的固有优势,开创出在多层储存单元内进行深度次临界运算的技术。以运行Llama 2-70B为例,相较于基于NVIDIA H100 GPU的系统,Sagence AI系统功耗仅为前者10%、成本10%、占用空间5%。


Sagence AI以快闪存储器单元作为电导值,开发的演算法可以让嵌入芯片中的存储器单元容纳8位元,节省成本、面积和能源。同时,快闪存储器单元在深度次临界状态下运作,进一步降低功耗。


Sarin表示,公司产品旨在消除GPU固有功耗、成本和延迟问题,加速专业应用。预计首款芯片产品将于2025年推出,与AI类比芯片业者竞争。

[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!