AWS携手NVIDIA,增强AI推论能力
来源:陈超月 发布时间:3 天前 分享至微信

AWS在年度大会上宣布,已与NVIDIA扩大合作,将NVIDIA NIM微服务扩展至主要AI服务,加速AI推论,减少生成式AI应用延迟。


NVIDIA NIM微服务现可在AWS Marketplace等平台获取,助力开发人员轻松部署经NVIDIA优化的推论功能。这些微服务基于强大引擎,如NVIDIA Triton等,支持广泛AI模型。


开发人员可在NVIDIA API目录预览逾百个NIM微服务,包括Meta Llama 3等常用模型。这些模型可托管部署在AWS服务上,并在NVIDIA加速实例上运行。


各行业客户及合作伙伴利用AWS上的NIM加速上市,确保AI应用数据安全与控制,降低成本。SoftServe已开发出六个基于NVIDIA NIM与AWS服务的生成式AI解决方案,涵盖药物发现、工业助手等领域,均基于NVIDIA AI Blueprints。


开发人员可在AWS上按需部署NVIDIA NIM微服务,利用NVIDIA优化的推论容器,通过AWS服务发展高效能AI。


[ 新闻来源:陈超月,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!