Sagence AI利用类比技术,降低LLM运行功耗
来源:ictimes 发布时间:一周前 分享至微信
随着生成式AI的快速发展,降低LLM运行功耗与成本成为业界重大课题。Sagence AI基于先进类比技术的存储器内运算架构,能够大幅降低LLM运行功耗、成本及机架空间。
高盛预测,到2030年,数据中心电力需求将增加160%,AI模型规模不断膨胀,功耗问题愈发严重。Sagence AI创始人兼CEO Vishal Sarin表示,公司愿景是创造一种与现行AI技术截然不同的技术,以解决功耗问题。
该公司利用类比技术的固有优势,开创出在多层储存单元内进行深度次临界运算的技术。以运行Llama 2-70B为例,相较于基于NVIDIA H100 GPU的系统,Sagence AI系统功耗仅为前者10%、成本10%、占用空间5%。
Sagence AI以快闪存储器单元作为电导值,开发的演算法可以让嵌入芯片中的存储器单元容纳8位元,节省成本、面积和能源。同时,快闪存储器单元在深度次临界状态下运作,进一步降低功耗。
Sarin表示,公司产品旨在消除GPU固有功耗、成本和延迟问题,加速专业应用。预计首款芯片产品将于2025年推出,与AI类比芯片业者竞争。
[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
ictimes
聚焦于半导体行业芯闻
查看更多
相关文章
香港新创利用LLM技术,拓展教育与旅游应用
2024-10-16
BitEnergy AI开发新算法,AI处理功耗可降低95%
2024-10-22
Encharge AI在类比运算技术取得新突破,筹资商业化NB AI芯片
2024-12-05
技嘉携手AMD,加速AI与LLM运算突破
2024-10-22
热门搜索