AWS携手NVIDIA,增强AI推论能力
来源:陈超月 发布时间:3 天前 分享至微信
AWS在年度大会上宣布,已与NVIDIA扩大合作,将NVIDIA NIM微服务扩展至主要AI服务,加速AI推论,减少生成式AI应用延迟。
NVIDIA NIM微服务现可在AWS Marketplace等平台获取,助力开发人员轻松部署经NVIDIA优化的推论功能。这些微服务基于强大引擎,如NVIDIA Triton等,支持广泛AI模型。
开发人员可在NVIDIA API目录预览逾百个NIM微服务,包括Meta Llama 3等常用模型。这些模型可托管部署在AWS服务上,并在NVIDIA加速实例上运行。
各行业客户及合作伙伴利用AWS上的NIM加速上市,确保AI应用数据安全与控制,降低成本。SoftServe已开发出六个基于NVIDIA NIM与AWS服务的生成式AI解决方案,涵盖药物发现、工业助手等领域,均基于NVIDIA AI Blueprints。
开发人员可在AWS上按需部署NVIDIA NIM微服务,利用NVIDIA优化的推论容器,通过AWS服务发展高效能AI。
[ 新闻来源:陈超月,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
陈超月
开创IC领域,共创美好未来!
查看更多
相关文章
AWS专注AI训练芯片Trainium,停发推论芯片Inferentia
2024-12-10
F5携手NVIDIA BlueField-3 DPU,强化AI应用交付能力
2024-12-16
Apple携手AWS,AI芯片市场迎新转折
2024-12-12
Anthropic携手Palantir、AWS,为美国国防导入AI模型
2024-11-15
AWS免费向学界提供自研AI芯片,与NVIDIA竞争
2024-11-14
热门搜索